Hoe wordt AI standaard getest?
Meestal worden black box technieken (technieken waarbij wordt gekeken hoe de applicatie zich van buiten gedraagt, zonder kennis van de interne code) gebruikt om deep learning te testen. Door een deel van de voorbeelden (bijvoorbeeld 30%) apart te houden en niet te gebruiken voor het trainen van het netwerk, blijven er genoeg voorbeelden over om te testen of het netwerk ook het juiste resultaat geeft. Je kunt het foutpercentage bepalen van de set trainingsvoorbeelden en van de set testvoorbeelden. De hoogte van beide foutpercentages is een indicatie van hoe goed de architectuur van het netwerk is en hoe goed het netwerk is getraind. Met een hoge trainingsfout en een hoge testfout is het netwerk waarschijnlijk te simpel of te weinig getraind. Met een lage trainingsfout en een hoge testfout is het netwerk waarschijnlijk te complex of zijn er te weinig verschillende voorbeelden gebruikt. Een gewenste uitkomst is een lage trainingsfout en een lage testfout.
Als de testvoorbeelden worden gebruikt om het netwerk te ‘tunen’ dan kunnen deze niet meer worden gebruikt voor de uiteindelijke test. De totale set aan voorbeelden moet dan in drie delen worden gesplitst: een training set, een development set (voor het tunen) en een test set.
Wat vraagt aandacht van de tester?
De standaard manier van testen is dus black box testing. Dat gaat helaas niet altijd goed, maar daar kom ik later in deze blog op terug. Het is noodzakelijk om ook white box testen toe te passen, waarbij wordt gekeken naar de interne opbouw van de applicatie.
White box testen
Een neuraal netwerk bestaat uit diverse lagen die aan elkaar worden gekoppeld. Zelfs als onjuiste lagen aan elkaar worden gekoppeld is het mogelijk om het netwerk te trainen. Het trainen van een netwerk met veel data kan uren, dagen tot zelfs weken duren. Als de lagen onjuist of incompleet aan elkaar worden gekoppeld, wordt het netwerk nooit geconvergeerd naar een juiste oplossing. De oorzaak hiervan is moeilijk vast te stellen zonder ook het programma zelf te bekijken. Belangrijk is om te letten of in het programma de juiste dimensies van vectoren en neurale lagen worden gebruikt en of de verschillende lagen op de juiste manier en foutloos aan elkaar worden gekoppeld.
In de onderstaande voorbeeldcode zie je dat bij het koppelen er lagen worden overgeslagen (de vijfde laag wordt weer aan de ‘input image’ gekoppeld in plaats van aan ‘net’), waardoor een kleiner neuraal netwerk ontstaat dan bedoeld.
Black box testen
Hoe goed een AI wordt getraind staat en valt met de kwaliteit van de voorbeelden die worden gebruikt. In de onderstaande figuur zie je links 6 voorbeelden (uit een grotere reeks) waarmee een AI getraind is om mokken te onderscheiden van glazen. Als na de training de testfoto van de rechterkant wordt aangeboden, beoordeelt de AI dit dan als een mok of een glas?
Er is een grote kans dat de AI dit beoordeelt als een glas! De AI is in werkelijkheid niet echt slim en weet niet dat hij moet letten op de vorm van het voorwerp. De AI gaat af op de gehele foto. De achtergrond bij alle glazen is geel en ook is de achtergrond van de testfoto geel, terwijl de achtergronden van de mokken niet geel zijn. De AI ‘denkt’ dus dat het een glas is. Voor een tester is het dus belangrijk om de gebruikte training set, development set en test set goed door te lichten. Is de foto uit dezelfde hoek genomen? Zijn alle voorwerpen even groot? Zijn er geen overheersende achtergronden? Is de distributie van voorwerpen over de training set hetzelfde als over de test set?