Часът, който прави проекта убедителен
Дотук имате работеща система и едно число. Днес правите едно обмислено подобрение и второ измерване. Разликата между двете числа — и обяснението ѝ — е сърцевината на защитата.
Едно, не пет
Пет промени наведнъж дават едно число, от което не се разбира нищо. Едно подобрение, измерено чисто, струва повече.
Откъде да изберете подобрението
Не по усещане, а от провалите. Погледнете кои случаи не минават и какво е общото между тях.
| Наблюдение при провалите | Вероятна причина | Подобрение |
|---|---|---|
| верният текст изобщо не е сред намерените | нарязване или модел за вектори | друг размер на парчето, заглавие във всяко парче |
| проваля се при кодове и имена | липсва търсене по думи | хибридно търсене |
| верният е намерен, но е на 8-о място | класиране | пренареждане или друго k |
| отговорът пренебрегва подадения текст | промпт | по-строго указание, отделяне на данните |
| измисля, вместо да признае незнание | промпт и праг | изрично разрешение за „не знам“, ранно спиране |
| цели теми липсват | данни | допълване на колекцията |
Правилата на честното измерване
- Наборът не се променя между двете измервания.
- Всичко останало също остава същото — модел, версия, настройки.
- Пуска се по няколко пъти, ако има разсейване.
- Записват се и двете числа с дата и настройки.
- Ако второто е по-лошо — това също е резултат и се описва.
Кога промяната е успешна
Когато целевата мярка се подобрява и нищо друго не се влошава съществено. Подобрение на recall с 5 пункта за сметка на удвоена цена е решение, не победа — и се описва като такова.
Какво влиза в защитата
- Първото число и при какви настройки е получено.
- Кои случаи се проваляха и какво е общото между тях.
- Каква промяна направихте и защо точно тази.
- Второто число.
- Какво още не работи и какво бихте направили следващо.