Slovenčina
Datart, člen portfólia skupiny HP TRONIC, patrí k popredným hráčom v maloobchodnom predaji spotrebnej elektroniky v Česku aj na Slovensku. Či už ide o kamenné predajne alebo predaj prostredníctvom e‑shopov, je tu s nami už neuveriteľných 32 rokov. Je držiteľom ocenenia Mastercard Obchodník roka 2021 v kategórii elektrotechnika a Najdôveryhodnejšia obchodná značka 2020 a 2021.
V roku 2022 skupina HP TRONIC, do ktorej patrí aj DATART, zvýšila svoj obrat o 5 % na celkovú sumu 25,3 miliardy Kč. EBITDA dosiahla 942 milióna Kč.
V článku sa dozviete, že:
- Vždy je dôvod na testovanie
- Nasadenie testu musí byť dokonalé
- A/B test môže byť skvelým začiatkom
- K signifikantným výsledkom je možné sa dopracovať aj za pomerne krátky čas
- Občas testovanie prekvapí
Stála na začiatku analytika, zvedavosť či intuícia?
Niekoľko významných klientov začínalo s Luigi’s Boxom presne na tom istom mieste ako Datart. Na začiatku nasadili na svoj e‑shop Luigi’s Box Analytics. Keďže už analytika poskytla množstvo informácií, naskytla sa otázka, či vie byť Luigi’s Box rovnako dobrým a spoľahlivým partnerom ako v analytike, tak aj vo vyhľadávaní, či autocomplete pri použití Luigi’s Box Search.
Datart si uvedomuje, ako dôležité je vyhľadávanie pre jeho e‑shopy a čo všetko môže ovplyvniť jeho správne alebo nesprávne nastavenie. Podstatné nie sú iba náklady, ale aj získané tržby, konverzný pomer, množstvo dokončených nákupov alebo iné metriky. K zodpovednému prístupu patrí určite aj testovanie a overovanie hypotéz. Datart inovuje, čo je vidieť vo viacerých oblastiach. Robí maximum pre zlepšenie používateľskej skúsenosti a je pochopiteľné, že hľadajú lepšie riešenia, ktoré pomáhajú používateľom a zároveň zvyšujú zisk.
Interne vyvíjali vlastné vyhľadávanie a v určitom bode bolo potrebné overiť, či externé vyhľadávanie dokáže byť rovnako kvalitné, ak nie lepšie, ako interné.
Nasadenie testu nie je na pár klikov
Nech už chceme testovať čokoľvek, je dôležité mať všetko vopred premyslené. Napríklad metodiku, porovnávané hodnoty, realizovateľnosť testu, či spôsob vyhodnotenia. Na druhej strane však aj technickú realizáciu, náročnosť a požiadavky na developerov alebo akékoľvek technické špecializácie či špecifikácie. Test môže prebiehať na frontendovej aj backendovej integrácii. V prípade Datartu šlo o tú komplikovanejšiu, ale komplexnejšiu – backendovú integráciu. Väčšina klientov je na podobné testovanie odborne aj personálne pripravená, takže popasovať sa s takýmito úlohami nepredstavuje zväčša žiadnu komplikáciu.
V Datarte však pracuje tím špecialistov, ktorí nepodcenili žiaden z aspektov a krok za krokom poskytovali informácie, špecifikácie… upravovali potrebné hodnoty, aby prostredníctvom API správne komunikovali s našim systémom.
Dokonca aj pred spustením A/B testu je potrebná sada testov, ktorá eliminuje možné chyby, ktoré by mohli zásadným spôsobom ovplyvniť výsledok takéhoto testu.
Prečo práve A/B test
Je množstvo spôsobov, ako niečo vyskúšať či otestovať. Prvá možnosť je vymeniť jedno riešenie za druhé a pozorovať – skúmať, či je nové riešenie účinnejšie. Tu však vzniká zásadné riziko. Pri veľkosti klienta akým je Datart sa aj nepatrná odchýlka v nízkych jednotkách percent môže prejaviť v podobe vysokého prepadu ziskov, čo je pre každú spoločnosť neprípustné.
Bezpečnejšia možnosť je ale najprv použiť tzv. offline A/B test. Vezmú sa existujúce výsledky vyhľadávania, napríklad za nejaké obdobie a porovnajú sa s výsledkami, ktoré ponúkne testovaný nástroj. Tento spôsob testovania sme si vyvinuli a používame ho dlhodobo vďaka čomu zásadným spôsobom eliminujeme riziko, že by nové vyhľadávanie na niektoré frázy zobrazovalo horšie alebo žiadne výsledky. Tým je testovanie bezpečnejšie aj pre veľkých klientov, kde vzhľadom na množstvo vyhľadávaní jednotlivých fráz môže mať aj malá odchýlka veľký dopad.
Po offline A/B teste klienti plynule prechádzajú do “živého” online A/B test. Základ tvorí metodika, pri ktorej časti návštevníkov pridelíme jednu a časti druhú verziu. Vyberie sa pomer zobrazovania jedného a druhého riešenia, ktorý môže byť 50:50, ale pokojne na začiatku napríklad iba 80:20, aby sa klient ubezpečil, že testovaný variant je lepší, alebo rovnaký ako variant pôvodný. Na konci sa oba výsledky pomerne porovnajú a ak boli vstupné hodnoty, napríklad počty sessions, signifikantné, môžeme pristúpiť k vyhodnoteniu.
Výsledok ani nie do 2 týždňov
Ak by sme testovali vysokošpečifické prípady, alebo mali e‑shop s nízkou návštevnosťou, mohlo by sa stať, že test by trval príliš dlho, lebo nízky počet návštev by nebol dostatočne signifikantný. Jednoducho by sa nedalo určiť, ktoré z porovnávaných riešení je víťazom testu.
Niektorí klienti testujú týždeň, iní aj mesiace. Ak vezmeme do úvahy veľkosť návštevnosti a počet konverzií, dokážeme odhadnúť, ako dlho bude test trvať. Následne si výsledok preveríme cez štatistickú signifikantnosť, aby sme znížili riziko náhodného vysledku. Všetko je vždy nadefinované vopred. Aby bol zrejmý začiatok i koniec testu a aj porovnávané metriky a spôsob vyhodnotenia. Je to dôležité, aby sa “počas hry” nemenili pravidlá. V tomto prípade sme mali vstupných dát dostatok. Išlo o dobré načasovanie a vyhodnotenie testu. Test v Datarte prebiehal od 1. do 12. 9. 2022. Za necelé dva týždne sa nazbierali potrebné údaje – a bolo možné test vyhodnotiť a určiť víťaza.
Luigi’s Box ako víťaz A/B testu
Porovnávací A/B test bol nasadený na českej i slovenskej verzii e‑shopu. Je samozrejmé, že oba spomínané testy sa v niektorých hodnotách odlišujú, nakoľko každý trh v každej krajine funguje pri vyhľadávaní trochu inak.
Na oboch testovaných e‑shopoch bol pomer nasadenia 50:50. Kde 50% používateľov dostalo pôvodnú verziu vyhľadávania a 50% verziu s Luigi’s Box Search. Výsledky oboch testov boli podľa zvolenej metodiky signifikantné. Hlavná porovnávacia metrika bola “Conversion rate” – konverzný pomer z používateľov, ktorí použili vyhľadávanie.
Po vyhodnotení testov sme zistili, že v porovnaní s pôvodnou verziou vyhľadávania, bolo použitie Luigi’s Box Search preukázateľne lepšie na oboch jazykových verziách e‑shopu.
Ďalšou zaujímavou informáciou je fakt, že naše riešenie eliminovalo nesprávne výsledky a vyhľadávania bez výsledkov pri niektorých kategóriách. Ak riešite podobný problém, s relevanciou, vie byť Luigi’s Box spoľahlivou odpoveďou.
Záver
Zvolené metriky jednoznačne preukázali, že umelá inteligencia a strojové učenie, ktoré využíva Luigi’s Box dokážu zvýšiť konverzný pomer, v tomto prípade o 14-19%. Podľa segmentu a stavu vyhľadávania môže byť rozdiel v konverznom pomere aj vyšší. Spolu so zvýšením konverzného pomeru narástli samozrejme aj tržby – čo je želaný stav. Niet divu, že po takýchto výsledkoch testovania bude Datart následne používať Luigi’s Box Search ako svoj nástroj pre vyhľadávanie a autocomplete na oboch testovaných e‑shopoch.
Na tomto príklade je jasne viditeľné, že roky výskumu a vývoja nášho nástroja majú pre klienta vysokú pridanú hodnotu.
