English
Datart, een lid van de HP TRONIC-groepsportfolio, is een van de toonaangevende spelers in de detailhandel van consumentenelektronica in Tsjechië en Slowakije. Of het nu gaat om fysieke winkels of verkopen via webshops, Datart is al 32 jaar bij ons. Het is de ontvanger van de Mastercard Merchant of the Year 2021 awards in de categorie elektrotechniek, en het Meest Vertrouwde Merk 2020 en 2021. In 2022 verhoogde de HP TRONIC-groep, inclusief DATART, haar omzet met 5% tot CZK 25,3 miljard. EBITDA-winst van CZK 942 miljoen.
In dit artikel leer je dat:
- er altijd een reden is om te testen
- de implementatie van de test perfect moet zijn
- een A/B-test een geweldige start kan zijn
- het mogelijk is om in relatief korte tijd aanzienlijke resultaten te behalen
- af en toe testen kan verrassen
Was het de analyse, nieuwsgierigheid of intuïtie in het begin?
Verscheidene spraakmakende klanten zijn bij Luigi’s Box begonnen op dezelfde plek als Datart. In het begin implementeerden ze Luigi’s Box Analytics op hun webshop. Aangezien de analyses al veel informatie hadden opgeleverd, was de vraag of Luigi’s Box een even betrouwbare partner zou kunnen zijn in zoeken of autocomplete bij het gebruik van Luigi’s Box Search als bij de analyses.
Datart realiseert zich hoe belangrijk zoeken is voor zijn webshops en wat de juiste of onjuiste instelling ervan kan beïnvloeden. Afgezien van de kosten, zijn er ook andere belangrijke metrics, zoals gegenereerde omzet, conversieratio, aantal voltooide aankopen. Een verantwoordelijke aanpak omvat zeker het testen en verifiëren van hypotheses. Datart innoveert, wat te zien is op verschillende gebieden. Het doet zijn best om de gebruikerservaring te verbeteren, en begrijpelijkerwijs zijn ze op zoek naar betere oplossingen die gebruikers helpen en de winst tegelijkertijd verhogen.
Ze ontwikkelden hun zoekfunctie intern, en op een gegeven moment was het noodzakelijk om te verifiëren dat externe zoekresultaten even goed, zo niet beter, konden zijn dan interne.
Een test implementeren is niet slechts een paar klikken verwijderd
Wat we ook willen testen, het is cruciaal om alles van tevoren uit te denken. Bijvoorbeeld, methodologie, vergeleken waarden, de haalbaarheid van de test, of evaluatiemethode. Aan de andere kant, technische implementatie, moeilijkheidsgraad en vereisten voor ontwikkelaars of technische specialisaties of specificaties. De test kan zowel op frontend- als backend-integratie draaien. In het geval van Datart was het de ingewikkeldere en complexere backend-integratie. De meeste klanten zijn professioneel en persoonlijk voorbereid op soortgelijke tests, dus het omgaan met dergelijke taken levert meestal geen complicaties op.
Gelukkig heeft Datart een team van specialisten die geen enkel aspect onderschatten, stap voor stap informatie en specificaties verstrekten en de nodige waarden aanpasten om correct met ons systeem te communiceren via de API.
Zelfs vóór het uitvoeren van een A/B-test is een reeks tests nodig om mogelijke fouten te elimineren die de uitkomst van een dergelijke test aanzienlijk kunnen beïnvloeden.
Waarom een A/B-test?
Er zijn veel manieren om iets te proberen of te testen. De eerste optie is om de ene oplossing te vervangen door een andere en te onderzoeken of de nieuwe oplossing effectiever is. Hier ontstaat echter een fundamenteel risico. Met de omvang van een klant zoals Datart kan zelfs een kleine afwijking in lage percentage-eenheden zich manifesteren als een aanzienlijke daling van de winst, wat voor elk bedrijf onaanvaardbaar is.
Maar een veiligere optie is om eerst de zogenaamde offline A/B-test te gebruiken. Bestaande zoekresultaten, bijvoorbeeld over een bepaalde periode, worden vergeleken met de resultaten die door de geteste tool worden aangeboden. We hebben deze testmethode ontwikkeld en gebruiken deze al lange tijd, waardoor we fundamenteel het risico elimineren dat een nieuwe zoekopdracht voor sommige zinnen slechtere of geen resultaten zou weergeven. Dit maakt testen veiliger, zelfs voor meer prominente klanten, waar gezien het aantal zoekopdrachten voor individuele zinnen, zelfs een kleine afwijking een aanzienlijke impact kan hebben.
Na een offline A/B-test gaan klanten soepel over naar een “live” online A/B-test. De basis is een methodologie waarbij sommige bezoekers aan de ene versie worden toegewezen en anderen aan de andere. De weergaveverhouding van de ene en de andere oplossing wordt gekozen, wat 50:50 kan zijn. Maar in het begin bijvoorbeeld slechts 80:20, zodat de klant er zeker van kan zijn dat de geteste variant beter of hetzelfde is als de originele variant. Uiteindelijk worden beide resultaten relatief vergeleken, en als de inputwaarden, bijvoorbeeld het aantal sessies, significant waren, kunnen we overgaan tot de evaluatie.
Het resultaat in minder dan twee weken
Als we specifieke gevallen zouden testen, of als we een webshop met weinig verkeer zouden hebben, zou de test te lang duren omdat het lage aantal bezoeken niet significant genoeg zou zijn. Het zou eenvoudigweg niet mogelijk zijn om te bepalen welke van de vergeleken oplossingen de winnaar van de test is.
Sommige klanten testen een week, anderen maanden. Gezien de omvang van het verkeer en het aantal conversies, kunnen we inschatten hoe lang de test zal duren. Vervolgens zullen we het resultaat controleren door middel van statistische significantie om het risico op een onverwacht resultaat te verminderen. Alles is altijd van tevoren gedefinieerd. Zodat het begin en einde van de test, evenals de vergeleken metrics en de methode van evaluatie, duidelijk zijn. De regels mogen niet worden gewijzigd “tijdens het spel”.
In dit geval hadden we voldoende inputdata, een goede timing en een precieze evaluatie van de test. De test in Datart vond plaats van 1 tot 12 september 2022. In minder dan twee weken werden de nodige gegevens verzameld – en het was mogelijk om de test te evalueren en de winnaar te bepalen.
Luigi’s Box als A/B-testwinnaar
De vergelijkende A/B-test werd geïmplementeerd op de Tsjechische en Slowaakse versies van de webshop. Beide tests verschillen in sommige waarden, aangezien elke markt in elk land anders werkt bij het zoeken.
Op beide geteste webshops was de implementatieverhouding 50:50. Waarbij 50% van de gebruikers de originele versie van de zoekopdracht kreeg en 50% de versie met Luigi’s Box Search kreeg.
De resultaten van beide tests waren significant volgens de gekozen methodologie.
De belangrijkste vergelijkende metric was “Conversieratio” – conversieratio van zoekgebruikers.
Na evaluatie van de tests, ontdekten we dat, vergeleken met de originele zoekversie, Luigi’s Box Search aantoonbaar beter was op beide taalversies van de webshop.
Een ander interessant stukje informatie is dat onze oplossing onjuiste resultaten en zoekopdrachten zonder resultaten heeft geëlimineerd voor sommige categorieën. Luigi’s Box kan een betrouwbaar antwoord zijn als u een soortgelijk probleem met relevantie oplost.
Conclusie
De gekozen metrics toonden aan dat de kunstmatige intelligentie en machine learning die door Luigi’s Box worden gebruikt de conversieratio kunnen verhogen, in dit geval met 14-19%. Afhankelijk van het segment en de zoekstatus kan het verschil in conversieratio nog groter zijn. Samen met de toename van de conversieratio nam uiteraard ook de omzet toe – wat de gewenste situatie is. Na dergelijke testresultaten is het niet verrassend dat Datart Luigi’s Box Search zal gebruiken als zijn zoek- en autocomplete-tool op beide geteste webshops.
Dit voorbeeld laat duidelijk zien dat de jarenlange research en development van onze tool een hoge toegevoegde waarde heeft voor de klant.
