"Глубокое обучение. Погружение в мир нейронных сетей" - первая книга о глубоком обучении, написанная на русском языке. Глубокие модели оказались ключом, который подходит ко всем замкам сразу: новые архитектуры и алгоритмы обучения, а также увеличившиеся вычислительные мощности и появившиеся огромные наборы данных, привели к революционным прорывам в компьютерном зрении, распознавании речи, обработке естественного языка и многих других типично "человеческих" задачах машинного обучения. Эти захватывающие идеи, вся история и основные компоненты революции глубокого обучения, а также самые современные достижения этой области, доступно и интересно изложены в книге. Максимум объяснений, минимум кода, серьезный материал о машинном обучении и увлекательное изложение - в этой уникальной работе замечательных российских ученых и интеллектуалов.




Оглавление книги Николенко С. И., Кадурин А. А., Архангельская Е. О. "Глубокое обучение. Погружение в мир нейронных сетей"



Часть I. Как обучать нейронные сети
Глава 1. От биологии к информатике, или We need to go deeper . . . . . . . . . 6
1.1. Революция обучения глубоких сетей . . . . . . . . . . . . . . . . . . . . . . . 7
1.2. Искусственный интеллект и машинное обучение . . . . . . . . . . . . . . 11
1.3. Немного о словах: каким бывает машинное обучение . . . . . . . . . . . 17
1.4. Особенности человеческого мозга. . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.5. Пределы нейробиологии: что мы на самом деле знаем? . . . . . . . . . . 26
1.6. Блеск и нищета современных нейронных сетей . . . . . . . . . . . . . . . . 30
Глава 2. Предварительные сведения, или Курс молодого бойца . . . . . . . . . 38
2.1. Теорема Байеса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.2. Функции ошибки и регуляризация . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.3. Расстояние Кульбака - Лейблера и перекрестная энтропия. . . . . . . 63
2.4. Градиентный спуск: основы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
2.5. Граф вычислений и дифференцирование на нем . . . . . . . . . . . . . . . 75
2.6. И о практике: введение в TensorFlow и Keras. . . . . . . . . . . . . . . . . . 81
Глава 3. Перцептрон, или Эмбрион мудрого компьютера . . . . . . . . . . . . . . 93
3.1. Когда появились искусственные нейронные сети . . . . . . . . . . . . . . 94
3.2. Как работает перцептрон . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
3.3. Современные перцептроны: функции активации. . . . . . . . . . . . . . .105
3.4. Как же обучаются настоящие нейроны . . . . . . . . . . . . . . . . . . . . . .113
3.5. Глубокие сети: в чем прелесть и в чем сложность? . . . . . . . . . . . . . .117
3.6. Пример: распознавание рукописных цифр на TensorFlow . . . . . . . .123
Часть II. Основные архитектуры
Глава 4. Быстрее, глубже, сильнее, или Об оврагах, долинах и трамплинах .137
4.1. Регуляризация в нейронных сетях . . . . . . . . . . . . . . . . . . . . . . . . .138
4.2. Как инициализировать веса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .142
4.3. Нормализация по мини-батчам. . . . . . . . . . . . . . . . . . . . . . . . . . . .153
4.4. Метод моментов: Ньютон, Нестеров и Гессе . . . . . . . . . . . . . . . . . .164
4.5. Адаптивные варианты градиентного спуска . . . . . . . . . . . . . . . . . .169
Глава 5. Сверточные нейронные сети и автокодировщики,
или Не верь глазам своим . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .176
5.1. Зрительная кора головного мозга . . . . . . . . . . . . . . . . . . . . . . . . . .177
5.2. Свертки и сверточные сети . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .182
5.3. Свертки для распознавания цифр . . . . . . . . . . . . . . . . . . . . . . . . . .199
5.4. Современные сверточные архитектуры . . . . . . . . . . . . . . . . . . . . . .206
5.5. Автокодировщики . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .214
5.6. Пример: кодируем рукописные цифры . . . . . . . . . . . . . . . . . . . . . .219
Глава 6. Рекуррентные нейронные сети,
или Как правильно кусать себя за хвост . . . . . . . . . . . . . . . . . . . .231
6.1. Мотивация: обработка последовательностей . . . . . . . . . . . . . . . . . .232
6.2. Распространение ошибки и архитектуры RNN . . . . . . . . . . . . . . . .236
6.3. LSTM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .242
6.4. GRU и другие варианты . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .249
6.5. SCRN и другие: долгая память в обычных RNN . . . . . . . . . . . . . . . .253
6.6. Пример: порождаем текст символ за символом . . . . . . . . . . . . . . . .259
Часть III. Новые архитектуры и применения
Глава 7. Как научить компьютер читать,
или Математик ?? Мужчина + Женщина = ... . . . . . . . . . . . . . . . .278
7.1. Интеллектуальная обработка текстов . . . . . . . . . . . . . . . . . . . . . . .279
7.2. Распределенные представления слов: word2vec . . . . . . . . . . . . . . . .285
7.3. Русскоязычный word2vec на практике . . . . . . . . . . . . . . . . . . . . . .297
7.4. GloVe: раскладываем матрицу правильно . . . . . . . . . . . . . . . . . . . .305
7.5. Вверх и вниз от представлений слов . . . . . . . . . . . . . . . . . . . . . . . .313
7.6. Рекурсивные нейронные сети и синтаксический разбор . . . . . . . . .322
Глава 8. Современные архитектуры, или Как в споре рождается истина . . .330
8.1. Модели с вниманием и encoder-decoder . . . . . . . . . . . . . . . . . . . . .331
8.2. Порождающие модели и глубокое обучение . . . . . . . . . . . . . . . . . .341
8.3. Состязательные сети . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .348
8.4. Практический пример и трюк с логистическим сигмоидом . . . . . . .353
8.5. Архитектуры, основанные на GAN . . . . . . . . . . . . . . . . . . . . . . . . .359
Глава 9. Глубокое обучение с подкреплением,
или Удивительное происшествие с чемпионом . . . . . . . . . . . . . . .372
9.1. Обучение с подкреплением. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .373
9.2. Марковские процессы принятия решений. . . . . . . . . . . . . . . . . . . .379
9.3. От TDGammon к DQN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .391
9.4. Бамбуковая хлопушка . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .399
9.5. Градиент по стратегиям и другие применения . . . . . . . . . . . . . . . . .405
Глава 10. Нейробайесовские методы,
или Прошлое и будущее машинного обучения . . . . . . . . . . . . . . .409
10.1. Теорема Байеса и нейронные сети . . . . . . . . . . . . . . . . . . . . . . . . .410
10.2. Алгоритм EM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .412
10.3. Вариационные приближения . . . . . . . . . . . . . . . . . . . . . . . . . . . .419
10.4. Вариационный автокодировщик . . . . . . . . . . . . . . . . . . . . . . . . . .426
10.5. Байесовские нейронные сети и дропаут. . . . . . . . . . . . . . . . . . . . .438
10.6. Заключение: что не вошло в книгу и что будет дальше . . . . . . . . . .446
Благодарности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .450
Литература . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .451