Slovenčina
Ak sa o tejto funkcii chcete dozvedieť viac, kontaktujte nás.
Pri optimalizácii vyhľadávania sa ľudia často zameriavajú na riešenie konkrétnych problémov alebo na A/B testovanie.
Ak si však chcete byť na 100 % istí, že vyhľadávanie funguje správne, skúste na to ísť pomocou offline syntetického testovania. Vyhnete sa tak riziku straty konverzií počas testovania zmien vo vyhľadávaní.
Každý e-shop chce mať dobre nastavené vyhľadávanie, ale nie vždy je to úplne jednoduché. Nastavenie vyhľadávania si vyžaduje pozorovanie, dobrú znalosť analytiky a systematický prístup. Väčšina ľudí sa spolieha len na svoj vnútorný pocit, čo však nemusí byť najšťastnejšie riešenie.
Prečo offline syntetické testovanie?
Jeden z najlepších spôsobov ako zlepšiť výsledky vyhľadávania sa nazýva offline syntetické testovanie. Offline preto, že naň nepotrebujete real-time interakcie používateľov a syntetické preto, že ako východisko používate iba namerané dáta, hoci skutoční používatelia sa môžu správať mierne odlišne. Výhodou tejto metódy je, že pri nej nehrozí negatívny vplyv na konverzie, výsledky dosiahnete pomerne rýchlo a na vykonanie tohto testovania postačujú záznamy o vyhľadávaní (konkrétne zadané dopyty, zobrazené výsledky a interakcia používateľov s výsledkami).
Postup je takýto: preskenujete dopyty, ktoré v minulosti zadávali používatelia a aplikujete na ne nový algoritmus. Ak viete, aké výsledky vyhľadávanie zobrazilo v minulosti a viete aj, na ktoré z výsledkov ľudia klikali alebo ich nakúpili, môžete tieto výsledky porovnať s výsledkami z nového alrogitmu.
Analýza výsledkov offline syntetického testovania
Ak staré vyhľadávanie pre dopyt x zobrazilo produkt X na 1. pozícii, znamená to, že produkt X mal najvyššiu mieru konverzií pre zadaný dopyt. Nový algoritmus pre dopyt x zobrazil produkt X až na 10. pozícii. Ktoré vyhľadávanie bolo podľa vás lepšie? Správna odpoveď znie: to pôvodné.
To bolo celkom jednoduché. Skúsme to teraz na zložitejšom príklade: pre dopyt x sa ako najlepší výsledok zobrazí produkt Y. Niektorí ľudia naň kliknú, preto vyzerá ako relevantný výsledok, ale skutočne najlepší výsledok, a teda produkt X, medzi výsledkami nie je vôbec. Nové vyhľadávanie tento problém odstránilo pomocou uprednostnenia produktu X, ten sa teraz zobrazuje na prvom mieste a hneď za ním sa nachádza produkt Y. To, čo môže na prvý pohľad vyzerať ako krok späť, ním v skutočnosti nie je, pretože výsledky pre dopyt x sa zlepšili.
Ako vidíte, v mnohých prípadoch skutočne nie je jednoduché vyhodnotiť, čo je pre vyhľadávanie lepšie. Ak chcete získať spoľahlivé a zmysluplné výsledky, potrebujete komplexný model. Existuje množstvo kvantitatívnych modelov určených na hodnotenie kvality rankingu ako napríklad Normalized Discounted Cumulative Gain (NDCG), Discounted Cumulative Gain, Mean Reciprocal Rank alebo Precision, Mean Average Precision, atď.
Všetky tieto metriky sa zvyčajne počítajú iba pre top n výsledkov, pretože pri tých je najvyššia pravdepoobnosť, že ich používatelia vôbec uvidia. Ďalej existujú ešte rozsiahlejšie a komplexnejšie modely, založené na priamej spätnej väzbe, ktoré sú na zlepšovanie vyhľadávania ešte vhodnejšie. Každá z týchto metrík má iné vlastnosti a je určená na zlepšenie iných detailov vyhľadávania. Nech si však vyberiete ktorúkoľvek, získate kvantitatívne informácie o svojom vyhľadávaní, ktoré sa dajú použiť na porovnanie rôznych algoritmov rankingu výsledkov.
Viac než len sledovanie zmien vo vyhľadávaní
Offline syntetické testovanie poskytuje oveľa viac možností než len sledovanie zmien vo vyhľadávaní. Pomôže vám pochopiť prečo sa výsledky menia. Pri jeho správnom vykonaní dostanete bohaté prehľady a informácie o výkonnosti jednotlivých dopytov v čase. Potom si môžete začať klásť správne otázky a ďalej vylepšovať jednotlivé dopyty podľa toho, kde nový ranking zlepšil vyhľadávanie a kde nie.
Summary output of a single test run. In this case the ranking has improved by 43%. Below the summary, you can see a performance breakdown (for buckets in 25% granularity) and the number of queries that were improved or deteriorated. Notice how even if this change resulted in an overall improvement, there are queries where ranking is now worse.
Example output from an offline synthetic test. You can see the users’ query, the results that was clicked from that particular search and how its position changed in the new ranking (position_from – position_to). You can also see the computed metric – NDCG@10 (Normalized Discounted Cumulative Gain computed over the top 10 results).
Ale čo ďalej?
Offline syntetické testovanie je výborným štartovacím bodom. Pomôže vám vyhodnotiť, či je vaše nové vyhľadávanie vo všeobecnosti lepšie alebo horšie ako staré. Ale čo ďalej? O koľko lepšie či horšie, a v čom?
To vám už táto metóda nepovie, pretože nepracuje so správaním skutočných zákazníkov. Ak sa chcete dozvedieť podrobnosti, musíte použiť live A/B test. Čiže, ak chcete odstrániť chyby vo vyhľadávaní:
- Určite, ktorý dopyt potrebuje vylepšiť.
- Upravte algoritmus rankingu.
- Spustite offline syntetický test a skúšajte rôzne možnosti, až kým si nebudete skutočne istí, že ste našli riešenie.
- Spustite live A/B test na overenie.
- Opakujte.
Tak to robíme aj v Luigi’s Boxe a vďaka tomu sme získali know-how, ktorému naši zákazníci veria. Dobrá správa je, že offline syntetické testovanie sme integrovali do nášho rozhrania, takže ak ho chcete vyskúšať, nemusíte si ho navrhnúť sami.
Ako dobré je vaše vyhľadávanie?
Zamysleli ste sa niekedy nad tým, či je vaše vyhľadávanie dostatočne výkonné? Možno si myslíte, že je, ale pracuje sa s ním dobre aj vašim zákazníkom?
Query Understanding: Efektívny spôsob ako pracovať s dlhšími dopytmi
Zákazníci pri vyhľadávaní používajú v priemere 1,5 slova. To na želané výsledky často nie je dosť. Pomôcť môžu filtre, ale existuje aj lepšie riešenie.
