Заданието
Обучавате свой класификатор на изображения и предавате отчет от една страница. Оценява се не точността на модела, а качеството на разсъждението за неговите грешки. Модел с 78% и добър анализ получава повече от модел с 99% без анализ.
Какво се предава
Връзка към обучения модел (или екранни снимки от него) и отчет по шаблона по-долу. Предаването е през раздел „Проекти“ в това приложение.
Изисквания
- Минимум 3 класа плюс клас „нищо“. Темата е свободна — предмети, жестове, растения, монети, видове отпадък.
- Поне 50 примера на клас, приблизително балансирани.
- Разнообразни условия — снимките на един клас не бива да са направени на едно и също място, от един ъгъл, при едно осветление.
- Тест върху нови примери — поне 10 на клас, които не са участвали в обучението. Това е тестовият набор от урок 7.
- Обозначена грешка — трябва да намерите поне един случай, в който моделът бърка, и да го обясните.
Без хора и без лични данни
Не използвайте снимки на съученици, учители или непознати. Класифицирайте предмети, растения, животни, символи. Ако темата ви изисква ръка (жестове), тя трябва да е ваша собствена и без лице в кадъра.
Шаблон на отчета
- Задача. Какво разпознава моделът и за какво би послужил на някого.
- Данни. Класове, брой примери за всеки, как и къде са събрани, какви условия сте варирали.
- Резултат. Таблица „клас → познати от 10 нови примера“ и обща точност. Ако сте направили объркваща матрица — още по-добре.
- Грешките. Поне два конкретни случая, в които моделът бърка. За всеки: какво показахте, какво отговори и защо предполагате, че става така.
- Опит за поправка. Какво променихте в данните и какво се случи с резултата — включително ако не е помогнало.
- Изводи. Три изречения: къде този модел не бива да се използва и какво бихте направили с още една седмица.
Как се оценява
| Критерий | Тежест | Какво търсим |
|---|---|---|
| Данни | 25% | балансирани класове, разнообразни условия, отделен тестов набор |
| Измерване | 25% | честен тест върху нови примери, таблица с резултати по класове |
| Анализ на грешките | 30% | конкретни случаи с обяснение, а не общи приказки |
| Опит за подобрение | 10% | промяна в данните и измерен ефект от нея |
| Оформление | 10% | ясен, кратък отчет с попълнени точки |
Най-честата причина за нисък резултат
Отчет, в който пише само „моделът работи с 95% точност“. Това не е анализ. Търсим изречения от вида: „бърка ключовете с химикала, когато и двете са върху дървената маса — предполагам, че се хваща за цвета на фона, защото 40 от 50 снимки на ключовете са направени на нея“.
Чести грешки
Тестване със същите снимки
Ако проверявате модела с предметите точно както при записа, мерите паметта му. Тестът трябва да е в нови условия — това е целият смисъл на урок 7.
Прекалено лесни класове
Червена ябълка, син химикал и жълт молив се различават по цвят и всеки модел ще ги познае. Изберете поне два класа, които си приличат — там е интересното.
Отчет, писан от езиков модел
Позволено е да ползвате помощник за оформлението, но анализът на грешките трябва да е ваш — той описва вашите снимки, които никой модел не е виждал. При защитата ще ви попитам за конкретен случай от отчета.