Какво правим днес
Шест урока теория се събират в една верига. Днес я минаваме от край до край върху една база и получаваме първото си честно число.
| Стъпка | Инструмент | Резултат |
|---|---|---|
| 1. Извличане | SQL | суров набор |
| 2. Почистване | pandas | дневник на промените |
| 3. Признаци | SQL + pandas | таблица X |
| 4. Етикет и разрез | pandas | колона y |
| 5. Обучение | scikit-learn | модел |
| 6. Оценка | метрики | число, на което може да се вярва |
Редът има значение
Времевият разрез се определя преди признаците, а разделянето — преди нормализирането. Всяко разместване води до изтичане.
Задачата за днес
Предсказваме дали клиент ще направи поръчка през следващите 90 дни. Ако вашата база е за друго — училищна, библиотечна, спортна, — формулирайте аналогична задача: ще заеме ли читателят книга, ще дойде ли ученикът на тренировка.
Защо тази задача
Има естествен времеви разрез, етикетът се получава автоматично от данните (не иска обозначаване от човек) и резултатът е полезен.
Мярката
Етикетът обикновено е небалансиран, затова само точност не стига. Използваме ROC AUC — вероятността моделът да подреди случаен положителен пример пред случаен отрицателен.
- 0.5 — моделът не носи информация (все едно хвърляне на монета).
- 0.7 — има сигнал, полезно за приоритизиране.
- 0.9 и нагоре — или задачата е лесна, или има изтичане. Проверете.