Beta testing: De ultieme gids

In dit artikel zullen we antwoord geven op de volgende vragen. Wat is app beta testing? Wat is het verschil tussen app beta testing en app alpha testing? Hoe kunnen start-ups app beta testing succesvol toepassen?

Wat is app beta testing?

App beta testing is de laatste reeks met testen voor jouw mobiele app voordat potentiële gebruikers de app kunnen gebruiken.

In andere woorden is dit de laatste kans, als start-up of productmanager, om bugs te ontdekken en de user experience (UX) te verbeteren voordat de app wordt gelanceerd.

App beta testen vs. alpha testen

Alpha testing is een vorm van interne goedkeuring. De app wordt dus intern getest door ontwikkelaars en testers.

In tegenstelling tot de alpha fase ligt de focus van app beta testen niet op ontwikkelaars, ontwerpers en de personen die hebben meegeholpen aan de app. De focus ligt hierbij op de eind gebruiker of bedrijven die het product zullen gebruiken.

Sommige projecten maken gebruik van externe gebruikers tijdens de alpha fase, maar dit gebeurt met minder personen dan tijdens de app beta tests.

De gesimuleerde omgeving van alpha tests is niet van toepassing op alle verschillende combinaties en condities. Denk aan verschillende netwerk condities, verschillende toestellen (verschillende OS versies, schermgroottes en resoluties) en andere mogelijkheden waar niet aan wordt gedacht tijdens het intern testen van een app.

Het is niet alleen het concept, maar de executie die leidt tot een geweldig product. App beta tests zullen anders getest worden dan intern testen tijdens de alpha fase.

Tijdens het alpha testen wordt er strenger en systematischer gekeken met name naar de integratie tools. Dit betekent echter niet dat app beta testing relaxed is.

Wanneer een product klaar is voor het app beta testen is het belangrijk dat het team een gecontroleerde strategie in plaats heeft. Dit is even belangrijk als hoe het testen gebeurd in de alpha fase.

Wat zijn de voordelen van app beta testing?

App beta testing biedt gebruikers vroege toegang tot een nieuwe app (of nieuwe functies bij een bestaande app). Het proces biedt de mogelijkheid om problemen op te pakken die overzien zijn tijdens de alpha fase.

Door crowdsourcing kun je honderd tot wel duizenden echte gebruikers in een echte omgeving jouw app laten testen. Hierdoor is de kans vele malen groter om bugs en fouten op te sporen die eerder over het hoofd zijn gezien.

Het identificeren en oplossen van deze problemen tijdens de app beta fase kan er voor zorgen dat jouw ontwikkelingskosten omlaag gaan. Daarnaast kan dit een potentiële pr crisis voorkomen met een slechte publieke lancering.

App beta testing zorgt voor goedkeuring van de gebruiker. Hierdoor kun je waardevolle feedback en analytics verzamelen om bepaalde functies wel of niet toe te voegen.

Hoe creëer je een succesvolle app beta test?

Het opzetten van een waardevolle beta test bestaat uit een aantal componenten. Bekijk op welke toestellen je moet richten. Welk segment of soort gebruikers ga je benaderen. Wat is het distributiemodel. Hoe ga je jouw testers analyseren. Dit zijn enkele componenten waarmee rekening moet worden gehouden.

We zullen vervolgens elk component nader toelichten.

Kiezen van het platform

Voordat je jouw testers kunt kiezen moet je eerst bepalen welke platformen onderdeel zullen zijn van jouw app beta test. Dit wordt vaak bepaald door de technische specificaties die jij en jouw team hebben opgesteld aan het begin van de ontwikkelingsfase.

Voor mobiele apps bestaat de variatie in toestellen met name uit het volgende:

• Toestel: (Voorbeeld: iPhone 6S Plus, iPhone 6S, iPhone SE)
• Operating system: (OS) (Voorbeeld: iOS 9.3.2, iOS 8.4.1)

Voor Android zijn er tientallen verschillende toestellen met verschillende schermgrootte en processor snelheid. Met de introductie van de 4-inch, 4.7-inch en 5.5-inch iPhone toestellen is het app ecosysteem erg afhankelijk van de grootte van het scherm.

Met het grote aantal verschillende combinaties betekent dit dat het in het algemeen nooit haalbaar is om genoeg tijd te besteden om alle combinaties te testen. Wanneer je het app beta testen benaderd als een iteratief proces, zal dit ervoor zorgen dat met elke nieuwe tester nieuwe inzichten zullen worden ontdekt.

Let op iOS apps

Voor Apple is het aan te raden om jouw app te ontwerpen voor alle beschikbare schermgrootte. Het is daarom aan te raden om met jouw test alle toestellen te testen die in de afgelopen twee jaren zijn uitgebracht of werken met het besturingssysteem waarvoor gekozen is.

Houdt rekening dat Apple het niet toelaat om ontwikkelaars toestellen buiten te sluiten op basis van hardware, maar alleen op basis van software (Operating system)

App beta testers selecteren

Nadat je bepaald hebt welke toestellen en operating systems (OS) moeten werken met jouw app is het tijd om een pool van app beta testers te vinden. Deze kandidaten moeten vervolgens aan deze criteria voldoen.

Het is belangrijk om niet alleen beta testers te selecteren op basis van compatibele technologie, maar ook op hoe graag ze jouw software willen gebruiken.

Dit komt er op neer dat het geen nut heeft om app beta testers te vinden die persoonlijk geen interesse hebben in jouw app. Deze eerste groep testers moeten mensen zijn die enthousiast worden om als eerste de app te kunnen gebruiken om vervolgens jouw app te promoten.

A/B testing

Je moet jouw testers verdelen in groepen op basis van operating system (OS) versies en toestellen. Bijvoorbeeld, iOS 9/ iPhone 6S Plus en iOS9/ iPhone 6S en iOS 8/iPhone 6s en ga zo verder. Dit biedt de mogelijkheid om A/B testing toe te passen.

A/B testing is ook bekend als split-testing. Het is een methodologie waarbij 2 verschillende versies van hetzelfde product of service met elkaar worden vergeleken om bepaalde UX/ontwerp elementen en specifieke functies te kunnen valideren.

Afhankelijk van de test grootte kan dit een goede tool zijn om jouw hypotheses te testen. Vervolgens kan je er voor zorgen dat je de best mogelijke versie van jouw app lanceert. Dit zal helpen met het aantal downloads, gebruikersretentie, ratings, etc.

Hoe vind je app beta testers?

Als je al bestaande gebruikers hebt kun je een uitnodiging sturen naar gebruikers die niet alleen voldoen aan het juiste OS en toestel, maar ook erg actieve gebruikers zijn van jouw app.

Een interessant experiment is om een groep gebruikers te vinden die jouw app gedownload hebben, maar die geen actieve gebruikers zijn. Op deze manier kun je testen of jouw nieuwe functies en updates er voor zorgen dat ze anders over jouw app gaan denken.

Wanneer je bezig bent met een nieuwe app en nog geen bestaande gebruikers hebt zijn er gelukkig een verschillende aantal services waarvan je gebruik kunt maken.

UserTesting is een betaald portaal met toegang tot gebruikers die jouw app testen. Vervolgens ontvang je analyses, video’s en geschreven feedback van echte gebruikers.

Een andere service is BetaTesting.com. Deze service biedt kwalitatieve feedback van jouw beta app distributie campagne. Je krijgt de mogelijkheid om participanten uit te nodigen binnen hun netwerk.

Distribueren van jouw beta app

Verschillende software is beschikbaar om zowel een iOS of Android beta versie van jouw app te distribueren op hun toestellen.

TestFlight

TestFlight, wat onlangs is verkregen door Apple, is geïntegreerd met het Xcode platform wat het makkelijker maakt om externe gebruikers uit te nodigen om jouw beta app te testen. In het verleden was dit vrij lastig.

Door simpelweg e-mailadressen toe te voegen kunnen ontwikkelaars tot 2.000 externe app beta testers uitnodigen.

Daarnaast kunnen tot 25 interne teamleden worden toegevoegd aan de interne beta testing fases. Deze teamleden kunnen vervolgens de app testen tot op wel 10 verschillende toestellen.

De testers zullen een email ontvangen om zich aan te melden als app beta testing group en krijgen een uitnodiging om de gratis TestFlight mobile app te installeren.

Elke keer wanneer je een nieuwe app versie upload op iTunes Connect zullen de aangemelde testers automatisch een notificatie krijgen. Hierdoor blijven ze op de hoogte van nieuwe versies en welke nieuwe elementen ze kunnen testen.

Voor elke beta versie die je lanceert geldt een periode van 30 dagen. Het aantal resterende dagen wordt aangetoond in de TestFlight app voor elke app die de gebruiker aan het testen is.

Tijdens de beta periode zijn alle in-app aankopen automatisch gratis.

Als laatste moeten apps die gebruik maken van TestFlight voor extern testen door Apple’s Beta App Review proces gaan. Deze review is minder streng dan de volledige app review die plaats vindt wanneer je jouw app lanceert op de App Store.

HockeyApp

Een andere prominente beta distributietool voor iOS is HockeyApp.

Helaas is deze tool niet gratis. Daar en tegen biedt het veel automatische tools die niet beschikbaar zijn in TestFlight. Een optie die bijvoorbeeld beschikbaar is, is directe integratie met GitHub voor continuous integration (CI) testing.

Google Play developer console

Voor Android is de Google Play developer console beschikbaar die goed werkt. Er is niet alleen de mogelijkheid om jouw app te distribueren naar jouw app beta testing groepen maar ook alpha testing is mogelijk.

Wanneer jouw testers aangeven mee te willen werken ontvangen ze een link om zich aan te melden. Vervolgens ontvangen ze automatisch nieuwe release versies van jouw alpha of beta app versie.

Een interessante mogelijkheid is Stage Rollouts. Hierbij kan je controleren hoeveel gebruikers jouw app kunnen downloaden. Op deze manier kun je meten wat de impact op jouw servers is en feedback beter behandelen.

Beta testers bestuderen

Op het moment dat je succesvol jouw app beta versie hebt gedistribueerd onder de testgroepen is het noodzakelijk om de juiste tools beschikbaar te hebben om feedback van jouw testers te analyseren.

Explicit Feedback

Explicit feedback is een mechanisme waarbij jouw gebruikers feedback via e-mail of een berichtje in de app zelf kunnen sturen.

Het is belangrijk dat gebruikers worden aangemoedigd om te delen hoe makkelijk het is om de app te gebruiken en bugs of problemen kunnen rapporteren.

Met Apple’s TestFlight moeten ontwikkelaars instructies aanbieden die duidelijk aangeven wat er moet worden getest tijdens het testen. Achteraf kunnen gebruikers de TestFlight mobile app gebruiken om feedback te versturen.

Er is niks mis met dit mechanisme, maar het is belangrijk om te weten dat betere feedback methodes beschikbaar zijn. Dit kan zijn door een knop in de app of bijvoorbeeld een feedback formulier die naar voren komt wanneer een gebruiker het toestel schud.

Implicit Feedback

Implicit feedback is gebruik maken van crash reports en analytics om jouw app beta testers te bestuderen.

Crashlytics door Twitter

Naast een methode te hebben om explicit feedback te beheren is het handig om app crashes te beheren door middel van crash logs. Een goede service hiervoor is Crashlytics wat nu onderdeel is van Twitter’s suite of Fabric tools.

(Een andere tool in Fabric suite is Beta. Deze tool maakt het makkelijk om op beide iOS en Android makkelijk jouw beta versie te distribueren.)

Crashlytics biedt eenvoudig te lezen crash reports aan die ontwikkelaars kunnen volgen. Crashes worden achterhaald op source issue. Bepaalde lijnen met code die zorgen voor een bepaalde crash.

Als je bijvoorbeeld 30.000 verschillende crashes hebt is het mogelijk dat deze tot 20 verschillende source issues behoren. Crashlytics zal deze crashes identificeren en vervolgens aangeven welke als eerste moeten verholpen. Dit wordt het impact level genoemd.

Crash Reports door Apple

Apple biedt crash reporting aan via een Xcode geïntegreerde crash reporting tool genaamd Crash Reports.

Deze service stelt Xcode in staat om technisch inzicht te geven in crashes, inclusief de condities en omgeving van de crash. Hierdoor kunnen ontwikkelaars precies achterhalen waar de crash heeft plaatsgevonden.

Implicit feedback is onderdeel van Analytics. Gelukkig is er geen gebrek aan tools voor iOS en Android om deze feedback te verzamelen. Terwijl analytics een grotere rol speelt tijdens de publieke lancering kan hierdoor waardevolle feedback worden verzameld tijdens de beta fase.

Parse

Parse Analytics is meer geavanceerd dan Crashlytics en bevat de mogelijkheid om custom events te tracken.

Dit betekent dat je een specifieke custom call kunt sturen om te achterhalen welke schermen werden gebruikt, welke knoppen zijn gedrukt en de tijdsduur dat iemand zich op een scherm bevond voor de crash.

Google Analytics voor iOS

Google Analytics voor iOS is een alternatieve tool voor custom event tracking, crash reporting en sessie tracking.

Ongeacht de service die je gebruikt is het belangrijk om gebruikersactie bij te houden. Deze bieden start-ups en productmanagers de kennis om te achterhalen welke schermen en functies vloeiend werken of welke schermen juist wel of niet worden gebruikt.

Conclusie

App beta testing is een belangrijk onderdeel van jouw productontwikkelingscyclus.

Een goede externe testing strategie is noodzakelijk om inzicht en bugs te ontdekken die zijn gemist tijdens de alpa testing. Slecht uitgevoerde lancering van jouw app of nieuwe functies kunnen jouw reputatie schaden.

In dit artikel hebben we verschillende tools geïdentificeerd die kunnen helpen bij het distribueren van jouw app en explicit en implicit feedback van jouw app beta testers kunnen verzamelen.

Beta testing heeft weinig betekenis als ontwikkelaars geen goede informatie kunnen bemachtigen omtrent crashes en bugs. Het is daarom belangrijk om te achterhalen welke schermen werken of niet.

---