Заданието
Правите помощник, който отговаря на въпроси по избран от вас набор от документи и винаги посочва източника си. Може да е помощник по учебен предмет, по правилника на училището, по правилата на настолна игра или по документацията на ваш проект.
Новото спрямо урок 26 е доказателството, че работи: набор от тестови въпроси с очаквано поведение и отчет колко от тях минават.
Изисквания
- Поне 15 парчета документи, всяко с източник (заглавие, член, страница).
- Търсене по близост и вмъкване на намереното в промпта.
- Цитат във всеки отговор — на кой източник стъпва.
- Честно „не знам“ — при въпрос извън документите.
- Набор от 10 тестови въпроса: 7 с отговор в документите и 3 без. За всеки — какво очаквате и какво се получи.
- Кратък отчет — колко теста минават, кои се провалят и защо.
Оценяване
| Критерий | Тежест | Какво търсим |
|---|---|---|
| Работеща верига | 25% | въпрос → търсене → промпт → отговор с цитат |
| Тестов набор | 30% | 10 въпроса с очаквано поведение, включително въпроси без отговор |
| Анализ на провалите | 25% | за всеки провал: в търсенето ли е проблемът или в модела |
| Качество на данните | 10% | смислено нарязване и точни източници |
| Оформление | 10% | тетрадка, която се изпълнява от начало до край |
Най-ценната част
Анализът на провалите. Всеки може да покаже успешен въпрос. Умението е да кажеш защо третият въпрос се проваля — защото търсенето връща грешно парче, защото парчето е разкъсано или защото моделът е пренебрегнал указанието.
Съвети
Изберете документи, които познавате
Трябва да можете да преценявате отговорите. Правилник, който сте чели, или правила на игра, която играете, са по-добър избор от случайна статия.
Пестете заявките
Безплатното ниво има лимит. Отпечатвайте намерените парчета преди извикването — половината проблеми се виждат там и не изискват заявка към модела.
Правете тестовете преди поправките
Първо напишете десетте въпроса и очакванията, после мерете. Иначе неусетно ще подберете въпросите, на които системата вече отговаря добре.