Лого на 91. НЕГ „Проф. Константин Гълъбов“

Избираем модул · Урок 4

Четирите типа задачи

Класификация, регресия, клъстеризация и генерация. Как изходът на модела определя и алгоритъма, и начина, по който се измерва успехът.

Първият въпрос към всяка задача

Преди да изберем алгоритъм, отговаряме на един въпрос: какво трябва да излезе от модела. Отговорът определя всичко останало — кой алгоритъм става, коя мярка показва успеха, какви данни трябват.

Класификацияизход: етикет от списъкспам / нормалноРегресияизход: числоцена: 142 000 лв.Клъстеризацияизход: номер на групаклиент → група 3Генерацияизход: нов обекттекст, изображение
Изходът определя типа на задачата — не темата, не данните.

Класификация — избор от краен списък

Класификация

Моделът избира един етикет от предварително известен списък.

  • Двоична — два възможни изхода: спам / нормално, болен / здрав, ще върне кредита / няма.
  • Многокласова — повече от два: кой вид цвете, коя цифра от 0 до 9, кой език е текстът.
  • С много етикети — един пример може да получи няколко етикета едновременно: снимка, на която има и куче, и топка, и трева.

Изходът често е вероятност

Класификаторът рядко казва просто „спам“. Обикновено връща 0.93 — увереност, — а ние решаваме от коя стойност нагоре смятаме отговора за „спам“. Тази граница се нарича праг и я избира човекът, не моделът.

Регресия — предсказване на число

Регресия

Моделът дава число от непрекъснат диапазон: цена, температура, време за доставка, брой посетители утре.

Разликата с класификацията е важна, защото се променя и начинът на оценяване. При класификация отговорът е верен или грешен. При регресия отговор 141 800 лв. при истинска цена 142 000 лв. не е „грешен“ — той е близък. Затова се мери средна грешка, а не процент познати.

КласификацияРегресия
Изходетикетчисло
ВъпросКое от тези е?Колко е?
Мярка за успехточност, прецизност, обхватсредна абсолютна или квадратична грешка
ПримерЩе вали ли утре?Колко милиметра дъжд ще падне?

Едно и също явление, два въпроса

Забележете, че за дъжда може да се зададе и класификационен, и регресионен въпрос. Типът на задачата не идва от темата, а от това как сме я формулирали.

Клъстеризация — групи, които никой не е задал

Клъстеризация

Разделяне на примерите на групи по прилика, без предварително зададени етикети.

Единствената от четирите, при която няма учител. Изходът е номер на група — 0, 1, 2, — а какво означава група 2, решава човекът, който гледа резултата. Магазин открива, че група 2 пазарува само в петък вечер и на едро; едва след това я нарича „семейно пазаруване“.

Броят групи обикновено се задава от нас предварително, а не се открива от алгоритъма. Различен брой групи дава различна картина — и трите картини могат да са смислени.

Генерация — нов обект, който го е нямало

Генерация

Моделът произвежда нов пример, подобен на тези, върху които е обучен: изречение, изображение, музика, код.

Тук няма „верен отговор“, с който да сравним изхода. Ако помолите за стихотворение, няма таблица с правилното стихотворение. Затова оценяването на генеративните модели е отделна трудна тема — с нея се занимаваме в урок 31.

Защо генерацията е различна

При първите три задачи изходът е едно число или етикет. При генерацията изходът е последователност от стотици решения, всяко от които влияе на следващото. Затова и грешките изглеждат различно — моделът не „бърка етикета“, а звучи убедително и казва неистина.

Как се разпознава типът

  1. Какво иска потребителят да получи на екрана — дума от списък, число, група или нов текст/образ?
  2. Има ли в данните колона с този отговор? Ако няма — или трябва да я направим, или задачата е без учител.
  3. Как ще познаем, че моделът се справя? Ако отговорът е „процент познати“ — класификация. Ако е „средно се бърка с 8000 лв.“ — регресия.