От разпознаване към създаване
Досега моделите в курса разпознаваха: неврон, който казва „да“ или „не“, мрежа, която познава цифра, програма, която определя тона на съобщение. Днес обръщаме посоката. Генеративен AI е система, която създава ново съдържание — текст, изображение, звук или видео — по кратко описание, наречено задание (prompt).
Генеративен модел
Модел, обучен върху огромно количество примери, който произвежда ново съдържание, приличащо на примерите, но не съвпадащо с никой от тях.
Идеята не е нова — това е същото обучение по примери от урок 15. Новото е мащабът: милиарди текстове и изображения, и модели с милиарди тегла.
Текст: предсказване на следващия токен
Езиковият модел не „знае“ отговора. Той умее едно нещо: по даден текст да предскаже кое парче текст — токен (дума или част от дума) — най-вероятно следва. После добавя избрания токен към текста и предсказва отново. Така се получава изречение, абзац, есе.
Изображение: от шум към образ
Моделите за изображения работят иначе: тръгват от правоъгълник чист шум и постепенно го изчистват, докато се появи образ. На всяка стъпка текстът на заданието насочва кое да остане и кое да изчезне.
Дифузия
Обучение, при което към снимка се добавя шум на стъпки, а моделът се учи да предсказва добавения шум. После процесът се пуска наобратно — от шум към образ.
Обучението е просто: взимат се милиони снимки с описания, развалят се с шум и моделът се учи да познае какво е било добавено. Щом умее това, умее и обратното.
Звук и видео
Същият подход работи за звук (генерира се спектрограма от урок 26 или направо звуковата вълна) и за видео — кадър след кадър. Видеото е най-трудно: всеки кадър трябва да е съгласуван с предишния, а в дълъг клип малките разминавания се натрупват.
Какво може и какво не може
| Вид | Прави добре | Проваля се при |
|---|---|---|
| Текст | чернова, обобщение, преразказ, обяснение на познато понятие | точни факти, дати и цитати; броене на букви и думи; аритметика с големи числа |
| Изображение | пейзаж, портрет, стил, осветление, настроение | надписи и текст в картината; точен брой обекти; ръце и пръсти; технически верни схеми |
| Звук | четене на глас, музика по описание | произношение на редки думи и имена; естествено дишане и паузи |
| Видео | кратки клипове с проста сцена | последователност в дълги видеа — обекти изчезват, лица се променят |
Как се сравняват резултати
„Хубаво е“ не е оценка. Когато двама души получат различни резултати по едно и също задание, сравнението става възможно само по предварително зададени критерии. В практикума ползваме тези пет, всеки с точки от 0 до 2:
| Критерий | 0 точки | 2 точки |
|---|---|---|
| Съответствие на заданието | липсва поискано нещо | всичко поискано е налице |
| Вярност | измислен факт или сгрешен детайл | всички факти и детайли са верни |
| Качество | нечетлив текст / артефакти в картината | чисто, четливо, без дефекти |
| Уместност за аудиторията | грешен тон или ниво | точно за тези, за които е |
| Нужда от поправки | трябва да се преработи | може да се използва веднага |
- Първо прочетете заданието и отбележете какво точно се иска.
- После оценете резултата по всеки критерий поотделно — не общо.
- Накрая сравнете сборовете и запишете кой критерий е направил разликата.
Какво трябва да запомниш
- Генеративният AI създава ново съдържание по задание — текст, изображение, звук, видео.
- Езиковият модел предсказва следващия токен и го добавя — дума след дума. Изходът е вероятностен.
- Моделът за изображения тръгва от шум и го изчиства на стъпки, насочван от текста (дифузия).
- Слабостите са известни: факти и броене при текста; надписи, брой обекти и ръце при картината; последователност при видеото.
- Списъкът със слабости остарява — проверявайте, не вярвайте.
- Резултатите се сравняват по зададени критерии, не по усещане.