Системата работи. Откъде знаете?
След пускането в употреба измерванията от златния набор вече не са достатъчни — те казват как системата се справя със вашите въпроси. Реалните потребители питат друго.
Наблюдение (monitoring)
Постоянно събиране на числа за работеща система и сигнали при отклонение от обичайното.
Числата, които се следят
| Показател | Какво издава | Сигнал при |
|---|---|---|
| Брой заявки на час | натоварване и злоупотреба | рязък скок |
| Дял грешки | проблем при доставчика или в кода | над 2% |
| Време за отговор (медиана и 95-и персентил) | бавни отговори | над договореното |
| Токени на заявка | промъкнал се дълъг контекст | плавно нарастване |
| Разход за деня | цена и аварии | над дневния таван |
| Дял „не се съдържа“ | дупки в документите | рязко нарастване |
| Отрицателни оценки | качество | над обичайното |
Защо 95-и персентил, а не средно
Средното време крие най-лошите случаи. Ако 95% от отговорите идват за 2 сек, а 5% — за 40, средното изглежда добре, а всеки двадесети потребител чака 40 секунди.
Дупките в документите
Специфичен за RAG показател: делът въпроси, на които системата отговаря „не се съдържа в документите“. Той е двойно полезен.
- Нисък дял при нови теми → може би моделът измисля вместо да признава.
- Висок дял → или документите не покриват това, което хората питат, или търсенето не ги намира.
- Списъкът от такива въпроси е готов план какво да се допълни в колекцията.
Разследване на оплакване
- Намерете конкретното съобщение по време и потребител.
- Вижте кои парчета са били подадени (таблицата с източниците от урок 16).
- Ако верният текст не е бил сред тях — проблемът е в извличането.
- Ако е бил — вижте промпта и версията му; проблемът е в генерирането.
- Проверете дали случаят е единичен или се повтаря.
- Добавете случая към златния набор — независимо от изхода.
Без записи няма разследване
Ако не пазите кои парчета са участвали в отговора, третата стъпка е невъзможна и остава гадаене. Затова таблицата с източниците не е излишна.
Журнали и лични данни
Какво влиза в журнала
Технически журнал: време, потребител (номер, не име), продължителност, код на грешка, версия на модела и промпта, брой токени. Пълният текст на въпроса и отговора се пази в базата на разговорите — с политика за достъп и срок.
Правила
- Никакви ключове и пароли в журнала — включително при печат на изключение.
- Не печатайте целия промпт в журнала за грешки; той съдържа контекста и въпроса.
- Срок на съхранение и за журнала, не само за разговорите.
- Достъпът до журналите също е достъп до лични данни.
Класическо изтичане
print(otgovor_ot_uslugata) при отстраняване на грешка, забравен в кода. Журналът се пълни с данни на потребители и се разпраща на всеки, който има достъп до сървъра.
Сигнали
Сигнал, който идва твърде често, спира да се чете. Затова се задават малко на брой и с ясен адресат:
- Дял грешки над праг за 10 минути.
- Разход над дневния таван.
- Нула успешни отговори за 15 минути (услугата е паднала).
- Рязък скок на заявки от един потребител.