Една много стара идея
През 1943 г. двама изследователи описват опростен математически модел на мозъчна клетка: тя получава сигнали, претегля ги и се „възбужда“, ако сборът мине определена граница. През 1958 г. Франк Розенблат построява машина по този модел и я нарича перцептрон.
Какво прави невронът
- Всеки вход
xᵢсе умножава по своето теглоwᵢ. - Произведенията се събират и се добавя отместването
b. - Резултатът
zминава през активираща функция, която дава изхода.
Забелязвате ли нещо познато
Стъпки 1 и 2 са точно линейната регресия от урок 11: z = w·x + b. Единствената новост е третата стъпка — и точно тя прави всичко останало възможно.
Активиращата функция
Активираща функция
Нелинейно преобразувание на сбора. Без нея цялата мрежа, колкото и слоя да има, остава равносилна на едно линейно уравнение.
- Стъпка — 1, ако
z > 0, иначе 0. Оригиналният перцептрон. Проста, но не става за градиентно спускане (наклонът ѝ е нула навсякъде). - Сигмоид — свива всяко число в интервала (0, 1). Удобна, когато изходът трябва да е вероятност.
- ReLU —
max(0, z). Изглежда прекалено просто, но е стандартът в дълбоките мрежи, защото обучението с нея върви бързо.
Защо без нелинейност няма смисъл
Линейна функция от линейна функция е пак линейна. Сто слоя без активация могат да бъдат заменени с един-единствен — цялата дълбочина се губи.
Перцептронът е линеен класификатор
При два входа условието w₁x₁ + w₂x₂ + b > 0 описва полуравнина. Тоест перцептронът прекарва права и казва „от тази страна е клас 1, от другата — клас 0“.
Логическите И и ИЛИ се решават с една права. Затова един неврон ги научава без проблем — задача 1 в практикума.
Задачата, която го поваля
Изключващото ИЛИ (XOR) дава 1, когато входовете са различни: (0,1) и (1,0) → 1, а (0,0) и (1,1) → 0. Нанесете четирите точки на лист: не съществува права, която да отдели двете единици от двете нули.
През 1969 г. Мински и Пейпърт публикуват точно това доказателство. Интересът към невронните мрежи спада за години — първата от зимите, за които говорихме в урок 1.
Изходът
Един неврон не може да реши XOR. Два слоя неврони могат — първият слой построява нови признаци, вторият ги разделя с права. Това е съдържанието на следващия урок.