Целта на часа
В края на часа в базата има реални данни, търсенето работи и има първо число за качеството му. Без това следващият час няма върху какво да стъпи.
| Готово | Проверка |
|---|---|
| Данни в базата | поне 50 парчета с източници |
| Вектори | изчислени за всички парчета, с записан модел |
| Търсене | връща смислени резултати за 5 въпроса |
| Набор от заявки | поне 15, от които 3 без отговор |
| Първо число | recall@5 записан с дата |
Ред на работа
- Заредете суровите данни в базата.
- Нарежете на парчета и запишете с източник.
- Изчислете векторите на партиди.
- Пуснете 5 въпроса на око — работи ли изобщо.
- Съставете набора от заявки.
- Измерете и запишете.
Не подреждайте обратно
Съблазнително е да се настройва размерът на парчето, преди да има измерване. Тогава настройвате по усещане и няма как да разберете дали помагате.
Чести спънки
Данните не са в подходящ вид
PDF без текстов слой, таблици в изображения, документи с еднакво съдържание. Ако извличането на текст отнеме повече от 30 минути, минете на по-малка колекция и го отбележете в документацията.
Всичко е с ниска близост
Проверете дали въпросът и парчетата минават през един и същ модел и дали нормализирането е еднакво. Това е причина номер едно.
Векторизирането е бавно
На партиди от 32–64 и само веднъж — резултатът се записва в базата. Ако се смята при всяко пускане, нещо не е наред в кода.