Лого на 91. НЕГ „Проф. Константин Гълъбов“

Избираем модул · Урок 14

Практикум и междинна защита

Работещо търсене върху собствени данни, измерено с набор от заявки, и петминутно представяне пред класа.

Какво се представя днес

Първата половина от годината приключва с работеща система за търсене върху ваши данни и число, което я описва. Това е основата, върху която през втория срок се надгражда AI функцията.

ЧастВремеСъдържание
Данните1 минкакви са, откъде, колко записа, как са нарязани
Демонстрация1.5 минтри заявки на живо, включително една трудна
Числата1.5 минrecall@5, MRR и как са измерени
Слабости1 минкоя заявка се проваля и защо

Изисквания

  1. Поне 50 парчета в базата, с източник за всяко.
  2. Работещо търсене — смислово, а още по-добре хибридно.
  3. Набор от поне 20 заявки с отбелязан верен отговор, от които 3 без отговор.
  4. Измерени recall@5 и MRR.
  5. Поне едно сравнение: два варианта на системата с числа за двата.

Какво се цени

Не най-високото число, а честното измерване и разбирането защо числото е такова. Система с recall 0.65 и точен анализ струва повече от 0.95 без обяснение откъде идва.

Чести проблеми и бързи поправки

Всичко се намира прекалено добре

Проверете дали заявките не са писани по документите. Дайте на съученик да състави пет въпроса, без да е чел парчетата, и измерете пак.

Нищо не се намира

Проверете дали векторите са изчислени с един и същ модел за документите и за заявката, и дали нормализирането е еднакво. Това е причина номер едно.

Търсенето е бавно

При под 10 000 парчета не е нужен индекс. Ако все пак е бавно, вероятно изчислявате векторите на документите при всяка заявка — те се смятат веднъж и се пазят.