Koľko zákazníkov používa vyhľadávanie? Zistite v našom e-booku!

Datart: Kúzlo za 19% nárastom konverzií? A/B test

Po vyhodnotení výsledkov A/B testov vyhľadávania sa Luigi's Box riešenie preukázalo ako preukázateľne lepšie oproti pôvodnej verzii.

Datart: Kúzlo za 19% nárastom konverzií? A/B test

Datart, člen portfólia skupiny HP TRONIC, patrí k popredným hráčom v maloobchodnom predaji spotrebnej elektroniky v Česku aj na Slovensku. Či už ide o kamenné predajne alebo predaj prostredníctvom e-shopov, je tu s nami už neuveriteľných 32 rokov. Je držiteľom ocenenia Mastercard Obchodník roka 2021 v kategórii elektrotechnika a Najdôveryhodnejšia obchodná značka 2020 a 2021.

V roku 2022 skupina HP TRONIC, do ktorej patrí aj DATART, zvýšila svoj obrat o 5 % na celkovú sumu 25,3 miliardy Kč. EBITDA dosiahla 942 milióna Kč.

V článku sa dozviete, že:

  • Vždy je dôvod na testovanie
  • Nasadenie testu musí byť dokonalé
  • A/B test môže byť skvelým začiatkom
  • K signifikantným výsledkom je možné sa dopracovať aj za pomerne krátky čas
  • Občas testovanie prekvapí

Stála na začiatku analytika, zvedavosť či intuícia?

Niekoľko významných klientov začínalo s Luigi’s Boxom presne na tom istom mieste ako Datart. Na začiatku nasadili na svoj e-shop Luigi’s Box Analytics. Keďže už analytika poskytla množstvo informácií, naskytla sa otázka, či vie byť Luigi’s Box rovnako dobrým a spoľahlivým partnerom ako v analytike, tak aj vo vyhľadávaní, či autocomplete pri použití Luigi’s Box Search.

Datart si uvedomuje, ako dôležité je vyhľadávanie pre jeho e-shopy a čo všetko môže ovplyvniť jeho správne alebo nesprávne nastavenie. Podstatné nie sú iba náklady, ale aj získané tržby, konverzný pomer, množstvo dokončených nákupov alebo iné metriky. K zodpovednému prístupu patrí určite aj testovanie a overovanie hypotéz. Datart inovuje, čo je vidieť vo viacerých oblastiach. Robí maximum pre zlepšenie používateľskej skúsenosti a je pochopiteľné, že hľadajú lepšie riešenia, ktoré pomáhajú používateľom a zároveň zvyšujú zisk.

Interne vyvíjali vlastné vyhľadávanie a v určitom bode bolo potrebné overiť, či externé vyhľadávanie dokáže byť rovnako kvalitné, ak nie lepšie, ako interné.

Nasadenie testu nie je na pár klikov

Nech už chceme testovať čokoľvek, je dôležité mať všetko vopred premyslené. Napríklad metodiku, porovnávané hodnoty, realizovateľnosť testu, či spôsob vyhodnotenia. Na druhej strane však aj technickú realizáciu, náročnosť a požiadavky na developerov alebo akékoľvek technické špecializácie či špecifikácie. Test môže prebiehať na frontendovej aj backendovej integrácii. V prípade Datartu šlo o tú komplikovanejšiu, ale komplexnejšiu – backendovú integráciu. Väčšina klientov je na podobné testovanie odborne aj personálne pripravená, takže popasovať sa s takýmito úlohami nepredstavuje zväčša žiadnu komplikáciu.

V Datarte však pracuje tím špecialistov, ktorí nepodcenili žiaden z aspektov a krok za krokom poskytovali informácie, špecifikácie… upravovali potrebné hodnoty, aby prostredníctvom API správne komunikovali s našim systémom.

Dokonca aj pred spustením A/B testu je potrebná sada testov, ktorá eliminuje možné chyby, ktoré by mohli zásadným spôsobom ovplyvniť výsledok takéhoto testu.

Prečo práve A/B test

Je množstvo spôsobov, ako niečo vyskúšať či otestovať. Prvá možnosť je vymeniť jedno riešenie za druhé a pozorovať – skúmať, či je nové riešenie účinnejšie. Tu však vzniká zásadné riziko. Pri veľkosti klienta akým je Datart sa aj nepatrná odchýlka v nízkych jednotkách percent môže prejaviť v podobe vysokého prepadu ziskov, čo je pre každú spoločnosť neprípustné.

Bezpečnejšia možnosť je ale najprv použiť tzv. offline A/B test. Vezmú sa existujúce výsledky vyhľadávania, napríklad za nejaké obdobie a porovnajú sa s výsledkami, ktoré ponúkne testovaný nástroj. Tento spôsob testovania sme si vyvinuli a používame ho dlhodobo vďaka čomu zásadným spôsobom eliminujeme riziko, že by nové vyhľadávanie na niektoré frázy zobrazovalo horšie alebo žiadne výsledky. Tým je testovanie bezpečnejšie aj pre veľkých klientov, kde vzhľadom na množstvo vyhľadávaní jednotlivých fráz môže mať aj malá odchýlka veľký dopad.

Po offline A/B teste klienti plynule prechádzajú do “živého” online A/B test. Základ tvorí metodika, pri ktorej časti návštevníkov pridelíme jednu a časti druhú verziu. Vyberie sa pomer zobrazovania jedného a druhého riešenia, ktorý môže byť 50:50, ale pokojne na začiatku napríklad iba 80:20, aby sa klient ubezpečil, že testovaný variant je lepší, alebo rovnaký ako variant pôvodný. Na konci sa oba výsledky pomerne porovnajú a ak boli vstupné hodnoty, napríklad počty sessions, signifikantné, môžeme pristúpiť k vyhodnoteniu.

Výsledok ani nie do 2 týždňov

Ak by sme testovali vysokošpečifické prípady, alebo mali e-shop s nízkou návštevnosťou, mohlo by sa stať, že test by trval príliš dlho, lebo nízky počet návštev by nebol dostatočne signifikantný. Jednoducho by sa nedalo určiť, ktoré z porovnávaných riešení je víťazom testu.

Niektorí klienti testujú týždeň, iní aj mesiace. Ak vezmeme do úvahy veľkosť návštevnosti a počet konverzií, dokážeme odhadnúť, ako dlho bude test trvať. Následne si výsledok preveríme cez štatistickú signifikantnosť, aby sme znížili riziko náhodného vysledku. Všetko je vždy nadefinované vopred. Aby bol zrejmý začiatok i koniec testu a aj porovnávané metriky a spôsob vyhodnotenia. Je to dôležité, aby sa “počas hry” nemenili pravidlá. V tomto prípade sme mali vstupných dát dostatok. Išlo o dobré načasovanie a vyhodnotenie testu. Test v Datarte prebiehal od 1. do 12. 9. 2022. Za necelé dva týždne sa nazbierali potrebné údaje – a bolo možné test vyhodnotiť a určiť víťaza.

Luigi’s Box ako víťaz A/B testu

Porovnávací A/B test bol nasadený na českej i slovenskej verzii e-shopu. Je samozrejmé, že oba spomínané testy sa v niektorých hodnotách odlišujú, nakoľko každý trh v každej krajine funguje pri vyhľadávaní trochu inak.

Na oboch testovaných e-shopoch bol pomer nasadenia 50:50. Kde 50% používateľov dostalo pôvodnú verziu vyhľadávania a 50% verziu s Luigi’s Box Search. Výsledky oboch testov boli podľa zvolenej metodiky signifikantné. Hlavná porovnávacia metrika bola “Conversion rate” – konverzný pomer z používateľov, ktorí použili vyhľadávanie.

Po vyhodnotení testov sme zistili, že v porovnaní s pôvodnou verziou vyhľadávania, bolo použitie Luigi’s Box Search preukázateľne lepšie na oboch jazykových verziách e-shopu.

Na slovenskej verzii, datart.sk, bol konverzný pomer nášho riešenia vyšší o takmer 19% v porovnaní s pôvodným používaným riešením.

Na českej verzii, datart.cz, bol konverzný pomer nášho riešenia vyšší o cca 14% v porovnaní s pôvodným používaným riešením.

Ďalšou zaujímavou informáciou je fakt, že naše riešenie eliminovalo nesprávne výsledky a vyhľadávania bez výsledkov pri niektorých kategóriách. Ak riešite podobný problém, s relevanciou, vie byť Luigi’s Box spoľahlivou odpoveďou.

Záver

Zvolené metriky jednoznačne preukázali, že umelá inteligencia a strojové učenie, ktoré využíva Luigi’s Box dokážu zvýšiť konverzný pomer, v tomto prípade o 14-19%. Podľa segmentu a stavu vyhľadávania môže byť rozdiel v konverznom pomere aj vyšší. Spolu so zvýšením konverzného pomeru narástli samozrejme aj tržby – čo je želaný stav. Niet divu, že po takýchto výsledkoch testovania bude Datart následne používať Luigi’s Box Search ako svoj nástroj pre vyhľadávanie a autocomplete na oboch testovaných e-shopoch.

Na tomto príklade je jasne viditeľné, že roky výskumu a vývoja nášho nástroja majú pre klienta vysokú pridanú hodnotu.

Ako naši klienti profitujú z Luigi's Box

Ako Muziker spolu s Luigi’s Boxom vylepšili odporúčania produktov

Pripravení na inšpiráciu? Prečítajte sa na našu prípadovú štúdiu a dozviete sa ako Muziker a Luigi's Box spoločne zmenili online odporúčania produktov.

Prečítajte si prípadovú štúdiu

Nárast konverzií e-shopu Diego o 28 %

Diego je známy predajca podlahových krytín v regióne strednej a východnej Európy, ktorý sa rozhodol použiť riešenie Luigi's Boxu vo svojom e-shope a prinieslo mu to vynikajúce výsledky.

Prečítajte si prípadovú štúdiu

Exisport dosahuje impozantný nárast CTR v recommenderi o viac než 50%

Testy jednoznačne preukázali, že Recommender od Luigi’s Boxu má oveľa lepšie výsledky, ako pôvodné recommendre. Naviac nasadením v kategóriách získali ďalšie cenné transakcie.

Prečítajte si prípadovú štúdiu

Datart: Kúzlo za 19% nárastom konverzií? A/B test

Po vyhodnotení výsledkov A/B testov vyhľadávania sa Luigi's Box riešenie preukázalo ako preukázateľne lepšie oproti pôvodnej verzii.

Prečítajte si prípadovú štúdiu

Správne odporúčania dokážu zvýšiť konverzie aj niekoľkonásobne

Luigi’s Box Recommender ponúka celý rad výhod, s ktorými môžete pohodlne zvýšiť obrat vášho e-shopu.

Prečítajte si prípadovú štúdiu
;