Auteur: Kees Blokland ● kees.blokland@polteq.com
Het kwartje viel toen we een TPI-assessment een jaar later bij dezelfde organisatie herhaalden: afdelingen die bij de eerste assessments als meer volwassen uit de bus rolden, lieten tijdens het tweede assessment meer verbeteringen zien. Dat klinkt best logisch, maar het heeft wel een aantal consequenties.
Volwassenheidsniveaus
TPI (Test Process Improvement) modellen bevatten meestal volwassenheidsniveaus. Die niveaus bieden organisaties grip op de volgorde van verbeteren: eerst de acties uitvoeren om het laagste niveau af te ronden en daarna ga je verder met de zaken die horen bij een hoger niveau in het model. Daarmee richt je de aandacht op de quick wins en voorkom je dat je energie steekt in zaken die nu nog weinig helpen. Het toekennen van een volwassenheidsniveau aan een (test)organisatie naar aanleiding van een TPI-assessment heeft met name een bepaalde waarde binnen de context van die organisatie. Wat binnen de ene context voldoende is, kan namelijk in een andere context onvoldoende zijn.
Beheerst als minimum
Een organisatie had bepaald dat het testproces binnen alle afdelingen minimaal het niveau ‘Beheerst’ in TPI Next moest behalen. Om de afdelingen te helpen dit te realiseren werd hen een assessment-team toegewezen die op twee momenten een TPI Next assessment uitvoerde:
- aan het begin om ze te helpen een actielijst voor het verbeteren op te stellen;
- na een jaar om de voortgang van de verbetering vast te stellen.
Assessment-resultaten twee opeenvolgende jaren
In de tabellen hieronder zie je van twee afdelingen (A en B) de assessment-resultaten van het niveau ‘Beheerst’. Ieder vakje is een checkpoint dat een bepaalde practice beschrijft en als die in de praktijk wordt gebracht, dan maakt het assement-team het vakje groen. Afdeling A had bij het eerste assessment meer vakjes groen dan afdeling B en zat dus al dichter bij het doelniveau ‘Beheerst’ aan. Nu wordt het interessant: na een jaar ‘verbeteren’ was afdeling A op een haar na ‘Beheerst’. Afdeling B daarentegen liet, geteld naar het aantal vakjes groen, nauwelijks verbetering zien. Wat verder opvalt, is dat sommige checkpoints in het tweede assessment wel behaald waren, maar dat er terugval is op eerder wel behaalde checkpoints. Bij andere afdelingen in de organisatie waren vergelijkbare trends te zien: afdelingen met een hogere volwassenheid bij assessment 1 hadden meer progressie gemaakt dan afdelingen met een lagere volwassenheid.
Paradox
De afdelingen die in principe het meeste profijt hebben van verbeteren, hebben de minste progressie gemaakt. Kennelijk is het maken van progressie op verbeteren moeilijker voor afdelingen met een lagere testvolwassenheid. Je zou de conclusie kunnen trekken dat wanneer men het testen beter onder controle heeft, dat het dan ook beter lukt het om testverbetering te implementeren.
Context
De volwassenheid kan niet los gezien worden van de context. Zo kan het zijn dat de omgeving zo’n hoge druk uitoefent op het testen dat er geen tijd of energie over is voor het goed nadenken over en het implementeren van verbeteringen. Management moet dan aan het werk om de afdeling de ruimte te geven voor het uitvoeren van hun verbeteringen.
Consequenties
Meer volwassen organisaties pakken de weg naar verbeteren vlot op. Het komt dan ook weinig voor dat organisaties die al in de hogere niveaus ‘Efficiënt’ of zelfs ‘Optimaliserend’ opereren hulp van buitenaf zoeken voor hun TPI projecten: dat kunnen ze zelf heel goed.
Minder volwassen organisaties daarentegen moeten extra hard werken om de weg omhoog te vinden. Hulp van buitenaf is waarschijnlijk nodig: het is tenslotte lastig om jezelf uit een moeras te trekken!
Interessante observatie en ja, ik kan het zien. Meer controle en overzicht biedt doorgaans meer ruimte tot (gecontroleerd) verbeteren.
Wat me wel opvalt is dat de matrix voor beide afdeling gelijk is. Zijn die afdelingen echter wel zo gelijk? Is het product waaraan gewerkt wordt gelijksoortig? Is de bezetting vergelijkbaar? Zijn de doelen / verantwoordelijkheden gelijk? Zijn de werkwijzes gelijk? Is de maturity van het ontwikkelproces gelijk? Zo nee dan zou ik een verschil in matrix verwachten.
Als door een beslissing op hoger niveau dan toch een gelijke matrix opgelegd is (geen aanpassing, zoals volgens TPI Next wel de bedoeling is!), vind ik het resultaat niet vreemd en zou het zelfs zo kunnen zijn dat afdeling B eigenlijk grotere / meer zinvolle stappen gezet heeft…en als afdeling B richting een Agile manier van werken bewogen is, terwijl er een “traditionele” TPI Next matrix gebruikt is, is het resultaat helemaal te verwachten.
Hallo Robin,
Dank voor je reactie. Bij de organisatie die het betreft was het (handig of niet) wel degelijk de bedoeling dat de ontwikkelprocessen op vergelijkbare wijze zouden verlopen. Er waren meer overeenkomsten dan verschillen, waardoor ik het wel aandurfde om het als voorbeeld voor mijn betoog te gebruiken.
Je hebt absoluut gelijk dat de context bepalend moet zijn bij het kiezen (of configureren) van het model. In het voorbeeld was de vergelijkbaarheid belangrijk en daarom pasten we bij iedere afdeling hetzelfde (niet getunede) TPI Next model toe. En het is inderdaad denkbaar dat voortgang op Agile niet zonder meer terug te zien is in een TPI Next matrix. (TI4Agile is daarvoor beter geschikt).
Hoi Kees,
Inderdaad een hele mooie observatie!
Wat me interessant lijkt is de discussie over de oorzaak. Je zou namelijk eerder verwachten dat de ‘wet van de remmende voorsprong’ geldt en dat onvolwassen organisaties sneller of minstens hetzelfde kunnen verbeteren als volwassen organisaties. Jij hebt aangetoond dat dit absoluut niet opgaat in dit geval en mogelijk in meer- of alle gevallen. Hier zit hem dus de paradox of de verrassing in.
Er moet dus een gemeenschappelijke oorzaak zijn die bepalend is voor testvolwassenheid die nog buiten de gevoerde discussie bij dit artikel ligt. Wellicht is dit het opleidingsniveau op de afdeling. Wellicht is het de afdelingscultuur (afdelingswaarden, gedeelde historie, etc.), of wat anders. Wat is jouw gedachte hierover?
Jouw observatie kan ik overigens ondersteunen met wat ik zelf heb ervaren bij mijn klanten. Het is inderdaad makkelijker om verdere verbeteringen door te voeren daar waar het al aardig loopt.
Groet, Dennis
Hoi Dennis,
Ik zie zowel interne als externe factoren die invloed hebben op een afdeling om meters te maken met verbetering. Je geeft zelf prima voorbeelden van interne factoren. Politieke druk van buitenaf is een externe factor die een belangrijke rem kan zijn op verbeteren.
Groeten
Kees