Edwin Schrage is een testmanager en -consultant werkzaam voor Atos. In zijn meer dan 20-jarige ervaring als tester weet hij dat testen helpt projecten te laten slagen. Naast zijn dagelijkse werkzaamheden als testmanager en -consultant bij verschillende opdrachtgevers is hij betrokken bij de regionale en landelijk competence Testen binnen Atos. Regionaal ondersteunt hij initiatieven voor het ontwikkelen en onderzoeken van nieuwe diensten en tooling op het gebied van testen.

Klaas Smit is oprichter van de Testnet – MBT werkgroep. Door ziekte gedwongen heeft hij zijn testmanager werkzaamheden moeten neerleggen. Hij is nu bezig met onderzoek naar en ontwikkeling van nieuwe type testtools. Dit heeft geleid tot een test-engine, Cycles, die vandaag wordt besproken. Op deze testengine kunnen door hem verschillende type interfaces worden aangesloten, denk aan Web, Windows Gui, Spraak en Objectherkenning (waaronder gezichtsherkenning).

Hoe test je een applicatie waarvan je het gedrag niet precies kunt voorspellen? Die uitdaging wordt steeds actueler. Systemen bevatten immers meer en meer algoritmen en randomizers waardoor deze systemen non-deterministisch gedrag vertonen. Traditionele testtools kunnen hier niet mee omgaan. Cycles is een researchproject voor een zelflerende model based testtool. In deze demo testen we met Cycles een sprekende robot en zien we hoe de tool het testmodel aanpast naar aanleiding van een onverwachte situatie. Daarnaast laten we zien waarom voor het testen van dergelijke systemen een uitgebreide vorm van een State Transition Model nodig is.

Systemen die complexe algoritmen bevatten betekenen nieuwe uitdagingen voor testers. Testgevallen maken op basis van een ontwerp met een beslissingstabel is al lang niet meer een optie om deze complexe zelflerende systeem te testen. Ook geldt dat traditionele testtools niet kunnen omgaan met non-deterministisch gedrag, ze verwachten altijd een vooraf vastgesteld resultaat: als er iets afwijkends wordt geconstateerd dan wordt dat als een fout aangemerkt. Bij zelflerende applicaties hoeft afwijkend gedrag niet altijd een fout te zijn. We hebben dus slimmere tools nodig die hiermee kunnen omgaan.

Atos is al geruime tijd bezig met research op het gebied van model based testtools. Medewerkers van TNO en universiteiten zijn betrokken bij de resultaten van dit onderzoek. Cycles is het resultaat van dit onderzoek en is een eerste experimentele versie van een ‘next generation model based testtool’. Het is een zelflerende tool, die werkt met extended State Transition modellen. Dit wil zeggen dat Cycles het testmodel kan aanpassen als het te testen systeem onverwacht gedrag vertoont.

We geven je met deze presentatie een blik in de keuken. We laten zien hoe je met deze tool bijvoorbeeld een spraakherkenningssysteem kan testen. Een vrijwilliger uit het publiek speelt de te testen spraakrobot, Cycles vuurt op basis van een State Transition Model een test af op de spraakrobot (de vrijwilliger). Als die onverwacht reageert zul je zien dat Cycles de afwijking wel detecteert, maar in plaats van een fout te rapporteren komt Cycles met een voorstel voor een gewijzigd State Transition model.