Три неща се менят под краката ви
| Какво | Кой го мени | Как се защитавате |
|---|---|---|
| Промптът | вие | версия и измерване преди промяна |
| Моделът | доставчикът | закачане на конкретна версия, а не „последната“ |
| Данните | потребителите и системата | измерване по време |
Най-неприятният случай
Нищо не сте променили, а системата работи по-зле от вчера. Ако не записвате версиите и не мерите редовно, ще търсите причината в кода, където я няма.
Промптът е код
Той определя поведението на системата също толкова, колкото и if-овете. Съответно се държи като код:
- Живее във файлове в хранилището, а не в променлива насред логиката.
- Всяка промяна е отделен комит с обяснение защо.
- Има версия, която се записва при всеки отговор (урок 16).
- Промяната минава през златния набор (урок 20), преди да влезе в употреба.
prompts/
pomoshtnik_sistemno_v1.txt
pomoshtnik_sistemno_v2.txt # добавено указание за цитат
pomoshtnik_sistemno_v3.txt # ограничение на дължината
izvlichane_shema_v1.jsonИли в базата
Алтернатива: таблица с промптове и версии. По-удобно, ако искате промяна без ново пускане на приложението; по-опасно, защото промяната заобикаля прегледа на кода. Ако изберете този вариант, поне пазете история и кой е променил.
Версия на модела
Закачена версия (pinned version)
Изрично посочено име с версия — например gemini-2.5-flash-001 вместо общото gemini-2.5-flash, което сочи към текущата.
Общото име се обновява от доставчика. Новата версия обикновено е по-добра, но „по-добра средно“ не значи „по-добра за вашия случай“ — може да промени формата на отговорите, дължината или поведението при отказ.
- В работеща система се закача конкретна версия.
- Новата версия се пробва отделно със златния набор.
- Ако резултатите са същите или по-добри — сменя се закачената версия.
- Ако не — остава старата, докато не се промени промптът.
Версиите се пенсионират
Доставчиците изключват стари версии с предизвестие. Затова закачането не е „веднъж завинаги“ — то дава време за спокойна проверка, а не вечна неизменност.
Как се прави промяна
- Формулирайте какво искате да подобрите и как ще го измерите.
- Запишете текущия резултат от златния набор.
- Направете промяната като нова версия — старата остава.
- Пуснете набора три пъти (заради разсейването).
- Сравнете: подобрение по целевото, без спад по останалото.
- Пуснете новата версия за малка част от потребителите.
- Следете оценките и грешките няколко дни, после пълно преминаване.
Сравнение върху реални заявки
По-силният вариант: пускат се двете версии върху едни и същи реални въпроси и отговорите се сравняват — от човек или от модел-съдия. Така се хващат разлики, които златният набор не покрива.
Връщане назад
Всяка промяна трябва да може да се върне за минути. Това означава: старата версия на промпта е налична, закачената версия на модела е записана, а превключването е настройка, а не ново пускане на кода.
Проверка
Колко време ви трябва, за да върнете системата към вчерашното ѝ поведение? Ако отговорът е повече от 10 минути, оправете това преди следващата промяна.