Tokenizácia

Tokenizácia je proces identifikácie prvkov vety, ako sú frázy, slová, skratky a symboly, pred vlastným vytvorením indexu.