“Testen in Productie: we hebben het hier niet over een hype, maar over de realiteit.”
Release strategieën – Maarten Piepers & Rob den Broeder, Bartosz
Maarten en Rob vertelden in de tweede presentatie over de blijvende aard van Testen in Productie. We hebben het hier niet over een hype, maar over de realiteit. Binnen onze visie op Quality Infected Teams zien we al langere tijd dat er sprake is van deze shift right waarbinnen Fast Feedback key is. Dankzij Agile werken, Continuous Delivery & Continuous Integration en DevOps is testen in productie steeds beter in te zetten. Bijvoorbeeld door de keuze van een release strategie die dit mogelijk maakt: Bij de Staged roll-out test je je product eerst op een aantal gebruikers. Als dit goed gaat, vergroot je de testgroep. De wijze waarop je de eerste gebruikersgroep binnen je release strategie selecteert kan variëren. Voorbeelden hiervan zijn:
- Canary release: hierbij gebruik je een green-blue deployment. Test je product eerst in de ene omgeving. Ben je tevreden? Dan kun je steeds meer overgaan naar de andere omgeving tot je al je gebruikers daar hebt. Gebruikers weten niet dat ze onderdeel zijn van je testteam.
- Dogfooding: laat eigen medewerkers – bijvoorbeeld het ontwikkelteam – het product als eerste gebruiken. Dit straalt vertrouwen uit en zorgt voor goede input en inzicht in het eigen product.
- Beta-testing: laat gebruikers in een live omgeving de software gebruiken en feedback geven. Klanten deel laten nemen aan een bèta-testgroep kan ook ingezet worden als marketingmiddel door hen op een ludieke manier uit te nodigen, te selecteren of te verleiden tot deelname.
- A/B testing: creëer twee gebruikersgroepen waarbij elke een eigen variant van de software gebruikt. Stel hypotheses op en check of deze kloppen. Gebruikers weten niet dat ze meedoen. Breng zo klein mogelijke wijzigingen aan om te weten wat een verandering van gedrag veroorzaakt.
Meer lezen over Release strategieën? Katrina Clokie schrijft er in het boek A practical guide to testing in Devops over.
Monitoring – Gerwin Laagland, Bartosz
Bij Testen in Productie is monitoring van groot belang. Hiermee achterhaal je hoe het product zich gedraagt in een onvoorspelbare omgeving en hoe een onvoorspelbare klant zich gedraagt ten opzichte van het product. Gerwin nam ons in zijn presentatie mee langs alle ins & outs van het monitoren. Zijn belangrijkste tips: monitoring wordt steeds veelzijdiger. Kijk altijd naar het product en de context waar het zich in bevindt. Denk ook tijdens de ontwikkeling al na over wat je wilt meten. Geef teams toegang tot monitoring tools. Alleen op deze manier haal je waardevolle input uit Testen in Productie.
Testen in productie bij de Rabobank – Oscar Mölder, Rabobank & Rein Hochstenbach, Bartosz
Hoe richt de Rabobank haar data architectuur in en hoe toetst zij deze inrichting in productie? Oscar en Rein vertelden er gezamenlijk over. Belangrijke aandachtspunten in deze architectuur zijn de schaalbaarheid en de mogelijkheid om de realisatie vanuit business initiatieven vorm te geven. Door gebruik van meerdere instanties van de API’s, kunnen nieuwe versies naast bestaande versies in productie uitgetest worden en kan instantie na instantie vervangen worden door een nieuwe versie, zonder onbeschikbaarheid van de service. Verder wordt er gebruik gemaakt van een staged roll-out strategie waarbij de eerste gebruikersgroep Friends & Family is: een variant waarbij snel feedback over zowel applicatiegedrag als gebruikerservaring kan worden verzameld.
“Denk tijdens de ontwikkeling al na over wat je wilt meten.”
Leon van der Zanden en de kritische geest van de tester
Na een discussie over de volgende stellingen:
- Testen in Productie is een essentieel onderdeel van de testaanpak;
- Binnen mijn organisatie wordt getest in productie;
- Binnen mijn organisatie komt er steeds meer focus op Testen in Productie;
- De tester wordt een Feedback Engineer,
bleek dat de meningen uiteen liepen, maar dat Testen in Productie wel gemeengoed aan het worden is. Na een hapje en een drankje was het na de pauze tijd voor het optreden van Leon van der Zanden. Zijn manier van feedback verzamelen zorgde voor hilariteit en een inzicht in de kritische geest van de tester.
De psychologie van de tester
Tijdens de afsluitende borrel werd er gezellig nagepraat en gediscussieerd. Onder andere over het onderwerp van de volgende Bijtanken bij Bartosz: De psychologie van de tester. Is jouw oordeel als tester wel zuiver? Ben je echt zo onbevooroordeeld als je denkt? Wees erbij op donderdag 17 mei a.s. Deelname is gratis, aanmelden kan door een mail te sturen naar info@bartosz.nl