Съхраняване на разговорите

Услугата не помни нищо (11. клас, урок 24). Ако искате потребителят да продължи разговора утре, историята трябва да е у вас. Но паметта е само едната причина.

• Продължаване на разговор и връщане към стар.
• Измерване: колко въпроса получава системата и на колко отговаря добре.
• Отчет за разхода по потребител и по функция.
• Материал за набора от тестове — реалните въпроси са най-добрите тестове.
• Разследване, когато нещо се обърка.

CREATE TABLE razgovori (
    id            SERIAL PRIMARY KEY,
    potrebitel_id INT NOT NULL REFERENCES potrebiteli(id),
    zaglavie      TEXT,
    zapochnat_na  TIMESTAMP DEFAULT NOW(),
    posleden_na   TIMESTAMP DEFAULT NOW()
);

CREATE TABLE sabshtenia (
    id            SERIAL PRIMARY KEY,
    razgovor_id   INT NOT NULL REFERENCES razgovori(id) ON DELETE CASCADE,
    rolya         TEXT NOT NULL CHECK (rolya IN ('user', 'model', 'system')),
    tekst         TEXT NOT NULL,
    model         TEXT,
    versia_prompt TEXT,
    tokeni_vhod   INT,
    tokeni_izhod  INT,
    ms            INT,
    sazdadeno_na  TIMESTAMP DEFAULT NOW()
);

CREATE TABLE sabshtenie_iztochnici (
    sabshtenie_id INT NOT NULL REFERENCES sabshtenia(id) ON DELETE CASCADE,
    parche_id     INT NOT NULL REFERENCES parcheta(id),
    blizost       REAL,
    PRIMARY KEY (sabshtenie_id, parche_id)
);

При ново съобщение се четат последните N съобщения от разговора и се подават на модела. Цялата история рядко се подава — прозорецът е ограничен, а и всеки токен струва.

1. Взимат се последните 10–20 съобщения.
2. Ако разговорът е дълъг, по-старата част се заменя с обобщение.
3. Системното указание се добавя винаги, независимо от историята.
4. Контекстът от документите се добавя за текущия въпрос, не се пази в историята.

ALTER TABLE sabshtenia
    ADD COLUMN ocenka SMALLINT CHECK (ocenka IN (-1, 1)),
    ADD COLUMN komentar TEXT;

• Двете стойности (полезно / безполезно) събират много повече отговори от петстепенна скала.
• Отрицателните оценки са най-ценният източник за нови тестови случаи.
• Показвайте въпроса и отговора при преглед на оценките — без тях числото не значи нищо.