Auteur: Gilbert Smulders ● gilbert.smulders@viqit.nl
Dit keer een andere video review dan jullie van mij gewend zijn. Ook geen directe link naar de video zelf, dit in verband met de privacy richtlijnen. Vorige week heb ik samen met onze partner Curiosity een webinar over testdata management gegeven. Daarom leek het mij aardig om daarover wat te vertellen in deze video review. Mocht je geïnteresseerd zijn, kan ik er voor zorgen dat je alsnog de link naar de video krijgt.
De totstandkoming
Meerdere collega’s van mij werken al langer samen met de mensen van Curiosity op hun opdracht. Gezien de oplossingen die zij leveren op het gebied van bijvoorbeeld testdata management, leek het mij een goed idee om ook eens kennis met ze te maken. Tijdens onze kennismaking lieten zij zien welke oplossingen zij onder andere leveren. Het leek mij een goed idee om dit ook mee te nemen in de gereedschapskist van mijn collega’s. En omdat wij de kennis niet alleen willen behouden, maar graag delen met onze klanten en concullega’s, besloten wij een webinar te organiseren die open was voor iedereen. Het onderwerp was ook gauw gekozen: Turn GDPR Compliance into an Opportunity for Better, Faster Testing. Wij zien dat veel collega’s en klanten worstelen met GDPR en AVG richtlijnen als het gaat om testdata.
De webinar
Na een korte introductie van mijzelf die met name ging over de totstandkoming van deze webinar, nam Curiosity het stokje over. Zij richtte zich in eerste instantie op uitdagingen waar testers tegenaan lopen binnen de organisatie waar zij werkzaam zijn, als het gaat om testdata in combinatie met GDPR/AVG richtlijnen. Daarbij zien we steeds vaker dat productiedata wordt gemaskeerd alvorens in een testomgeving geladen te worden. Maskeren introduceert echter een zeer complex en vaak traag proces bij het verstrekken van gegevens, waardoor testers vaak lang moeten wachten op benodigde data. Productiedata anonimiseren help ook niet om de variëteit te verbeteren. Testers missen dan vaak de combinaties die nodig zijn voor een grondige testuitvoering. Kortom: maskeren alleen kan de naleving van wetgeving ondersteunen, maar het risico bestaat dat de snelheid en kwaliteit van testen worden ondermijnd. Daardoor worden snel veranderende systemen eerder blootgesteld aan bugs.
Curiosity vervolgt de webinar met wat demo’s hoe zij hier oplossingen voor hebben gevonden. Zij stellen dat een complete testdata oplossing verder moet kijken dan alleen het verwijderen van PII uit testomgevingen. Het moet er ook voor zorgen dat de data die testers nodig hebben, direct beschikbaar is waar en wanneer zij dat willen. Dat betekent dat allerlei gegevenscombinaties beschikbaar zijn voor iedere test in bepaalde testomgevingen. Bovendien moet dit gebeuren met de snelheid die wordt vereist door geautomatiseerde tests en iteratieve softwareontwikkeling.
Zij hebben een oplossing ontwikkeld die voortborduurt op veel van de vaardigheden en technologieën die momenteel worden gebruikt in Test Data Management. Zij benoemen een drietal technieken die gemakkelijk kunnen worden toegevoegd aan bestaande maskeer- en subsetprocessen.
Ten eerste het genereren van synthetische testdata. Het genereren van combinaties van gegevens die niet in productiegegevens worden gevonden, dicht de hiaten in de testdekking als gevolg van testdata met een lage variëteit. Bovendien kan tegenwoordig het genereren van gegevens gemakkelijk worden geïntegreerd met gegevensmaskering. Ontbrekende combinaties worden daarbij automatisch toegevoegd wanneer geanonimiseerde gegevens naar testomgevingen worden verplaatst.
Ten tweede het on-the-fly toewijzen van testdata. Testdata allocatie kan tegenwoordig de levering van volledige data kopieën vervangen, waarbij exacte datacombinaties worden toegewezen op basis van gespecificeerde testgevallen. Deze toewijzing is bovendien ‘just in time’ mogelijk; het vinden en maken van gegevenscombinaties terwijl testen worden gegenereerd of uitgevoerd.
En ten slotte gestandaardiseerde, herbruikbare TDM-processen. Om QA echt wendbaar te maken, moet de afhankelijkheid tussen testers en testdata beheerteams worden weggenomen worden. De silo tussen het verstrekken van testdata en het uitvoeren van tests moet worden geëlimineerd. Daardoor wordt er toegang tot uitgebreide testdata verkregen. Een manier om dit te bereiken is door de processen die worden gebruikt in de datavoorziening herbruikbaar te maken voor de testteams zelf via een soort selfservice portal.
De webinar werd na de demo’s afgesloten met een Q&A ronde. Na deze vragenronde sloot Curiosity af met een aanbod om eens vrijblijvende de testdata problemen van de deelnemers persoonlijk te bespreken, om te kijken hoe zij daar bij zouden kunnen helpen.
Mijn visie
In deze webinar kwamen een aantal praktische problemen waar de meeste testers in de praktijk tegenaan lopen. Ik heb zelf ook vaak geworsteld om tot een goede oplossing te komen voor deze problemen. Vaak is het kiezen voor óf zelf data aanmaken, óf (gemaskeerde) productiedata gebruiken. Een combinatie daarin is erg handig, maar vaak lastig te organiseren. En dit ook nog meenemen in je CI/CD pipeline om continuous te kunnen testen, is helemaal een brug te ver. Deze oplossing liet zien dat er wel degelijk mogelijkheden zijn. Ik zal dit zeker onthouden en als dat van toepassing is binnen mijn opdracht zal ik zeker kijken hoe we dit kunnen inzetten. Ik weet in ieder geval welke requirements ik moet stellen aan de TDM oplossing.
Wil jij de webinar ook nog eens rustig bekijken, laat het mij dan even weten.