Ни букви, ни думи
Езиковият модел не работи с букви — те са твърде малко информация на символ. Не работи и с думи — речникът на един език е огромен и всяка непозната дума би била проблем. Работи с нещо по средата.
Токен
Парче текст — цяла дума, част от дума, знак или интервал, — на което моделът дава номер. Токените са единиците, с които той чете и пише.
Как се получава речникът
Токените не се измислят от човек. Алгоритъмът обхожда огромно количество текст и започва от отделните символи, като многократно слива най-често срещаната двойка съседни парчета. След 50 000 такива сливания получаваме речник, в който често срещаните думи са цели токени, а редките се разпадат на части.
- Често срещана дума на английски = 1 токен.
- Рядка дума = 2–5 токена.
- Име, което не се среща в обучаващия текст, се разпада на срички или букви.
- Интервалът обикновено се залепя в началото на следващия токен.
Кирилицата струва повече
Речниците на повечето модели са изградени предимно от английски текст. Затова един и същ смисъл на български заема 2–3 пъти повече токени. Това означава по-висока цена при плащане на токен, по-бързо изчерпване на контекстния прозорец и понякога по-ниско качество.
Оттам идват странните грешки
Броене на букви
Класическият пример: моделът бърка колко пъти буквата „р“ се среща в дума. Причината е, че той не вижда буквите — вижда токени. Все едно да питате човек колко черни пиксела има в написаната дума.
Обръщане на дума наопаки
Същата причина. Задачата изисква достъп до отделните символи, а моделът борави с парчета.
Аритметика
Числото 1234 може да се разпадне на „12“ и „34“ или на „1“, „23“, „4“ в зависимост от речника. Затова моделите се справят непоследователно с дълги числа — и затова за смятане им се дава инструмент (урок 29).
Правилото
Когато моделът се проваля на нещо, което изглежда детински просто, първо проверете дали задачата не изисква работа с отделни символи.
Контекстен прозорец
Контекстен прозорец
Максималният брой токени, които моделът може да обхване наведнъж — въпросът, приложените документи и собственият му отговор заедно.
Ако прозорецът е 128 000 токена, това са около 300 страници текст на английски и около 120 на български. Всичко над това не се вижда — и оттам идва нуждата от техниките в урок 26.
Токените са и мерната единица за цена: услугите се таксуват на хиляда токена вход и хиляда токена изход. Затова един и същ разговор струва повече на български.