 |
Глубокое обучение. Погружение в мир нейронных сетей
рекомендуем
Николенко С. И., Кадурин А. А., Архангельская Е. О.
Год выпуска: 2018
ISBN: 978-5-4461-1537-2
Переплёт: мягкий
480 страниц
Цена: 520.00 грн.
|
"Глубокое обучение. Погружение в мир нейронных сетей" - первая книга о глубоком обучении, написанная на русском языке. Глубокие модели оказались ключом, который подходит ко всем замкам сразу: новые архитектуры и алгоритмы обучения, а также увеличившиеся вычислительные мощности и появившиеся огромные наборы данных, привели к революционным прорывам в компьютерном зрении, распознавании речи, обработке естественного языка и многих других типично "человеческих" задачах машинного обучения. Эти захватывающие идеи, вся история и основные компоненты революции глубокого обучения, а также самые современные достижения этой области, доступно и интересно изложены в книге. Максимум объяснений, минимум кода, серьезный материал о машинном обучении и увлекательное изложение - в этой уникальной работе замечательных российских ученых и интеллектуалов.
Оглавление книги Николенко С. И., Кадурин А. А., Архангельская Е. О. "Глубокое обучение. Погружение в мир нейронных сетей"
Часть I. Как обучать нейронные сети Глава 1. От биологии к информатике, или We need to go deeper . . . . . . . . . 6 1.1. Революция обучения глубоких сетей . . . . . . . . . . . . . . . . . . . . . . . 7 1.2. Искусственный интеллект и машинное обучение . . . . . . . . . . . . . . 11 1.3. Немного о словах: каким бывает машинное обучение . . . . . . . . . . . 17 1.4. Особенности человеческого мозга. . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.5. Пределы нейробиологии: что мы на самом деле знаем? . . . . . . . . . . 26 1.6. Блеск и нищета современных нейронных сетей . . . . . . . . . . . . . . . . 30 Глава 2. Предварительные сведения, или Курс молодого бойца . . . . . . . . . 38 2.1. Теорема Байеса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 2.2. Функции ошибки и регуляризация . . . . . . . . . . . . . . . . . . . . . . . . . 53 2.3. Расстояние Кульбака - Лейблера и перекрестная энтропия. . . . . . . 63 2.4. Градиентный спуск: основы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 2.5. Граф вычислений и дифференцирование на нем . . . . . . . . . . . . . . . 75 2.6. И о практике: введение в TensorFlow и Keras. . . . . . . . . . . . . . . . . . 81 Глава 3. Перцептрон, или Эмбрион мудрого компьютера . . . . . . . . . . . . . . 93 3.1. Когда появились искусственные нейронные сети . . . . . . . . . . . . . . 94 3.2. Как работает перцептрон . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 3.3. Современные перцептроны: функции активации. . . . . . . . . . . . . . .105 3.4. Как же обучаются настоящие нейроны . . . . . . . . . . . . . . . . . . . . . .113 3.5. Глубокие сети: в чем прелесть и в чем сложность? . . . . . . . . . . . . . .117 3.6. Пример: распознавание рукописных цифр на TensorFlow . . . . . . . .123 Часть II. Основные архитектуры Глава 4. Быстрее, глубже, сильнее, или Об оврагах, долинах и трамплинах .137 4.1. Регуляризация в нейронных сетях . . . . . . . . . . . . . . . . . . . . . . . . .138 4.2. Как инициализировать веса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .142 4.3. Нормализация по мини-батчам. . . . . . . . . . . . . . . . . . . . . . . . . . . .153 4.4. Метод моментов: Ньютон, Нестеров и Гессе . . . . . . . . . . . . . . . . . .164 4.5. Адаптивные варианты градиентного спуска . . . . . . . . . . . . . . . . . .169 Глава 5. Сверточные нейронные сети и автокодировщики, или Не верь глазам своим . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .176 5.1. Зрительная кора головного мозга . . . . . . . . . . . . . . . . . . . . . . . . . .177 5.2. Свертки и сверточные сети . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .182 5.3. Свертки для распознавания цифр . . . . . . . . . . . . . . . . . . . . . . . . . .199 5.4. Современные сверточные архитектуры . . . . . . . . . . . . . . . . . . . . . .206 5.5. Автокодировщики . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .214 5.6. Пример: кодируем рукописные цифры . . . . . . . . . . . . . . . . . . . . . .219 Глава 6. Рекуррентные нейронные сети, или Как правильно кусать себя за хвост . . . . . . . . . . . . . . . . . . . .231 6.1. Мотивация: обработка последовательностей . . . . . . . . . . . . . . . . . .232 6.2. Распространение ошибки и архитектуры RNN . . . . . . . . . . . . . . . .236 6.3. LSTM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .242 6.4. GRU и другие варианты . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .249 6.5. SCRN и другие: долгая память в обычных RNN . . . . . . . . . . . . . . . .253 6.6. Пример: порождаем текст символ за символом . . . . . . . . . . . . . . . .259 Часть III. Новые архитектуры и применения Глава 7. Как научить компьютер читать, или Математик ?? Мужчина + Женщина = ... . . . . . . . . . . . . . . . .278 7.1. Интеллектуальная обработка текстов . . . . . . . . . . . . . . . . . . . . . . .279 7.2. Распределенные представления слов: word2vec . . . . . . . . . . . . . . . .285 7.3. Русскоязычный word2vec на практике . . . . . . . . . . . . . . . . . . . . . .297 7.4. GloVe: раскладываем матрицу правильно . . . . . . . . . . . . . . . . . . . .305 7.5. Вверх и вниз от представлений слов . . . . . . . . . . . . . . . . . . . . . . . .313 7.6. Рекурсивные нейронные сети и синтаксический разбор . . . . . . . . .322 Глава 8. Современные архитектуры, или Как в споре рождается истина . . .330 8.1. Модели с вниманием и encoder-decoder . . . . . . . . . . . . . . . . . . . . .331 8.2. Порождающие модели и глубокое обучение . . . . . . . . . . . . . . . . . .341 8.3. Состязательные сети . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .348 8.4. Практический пример и трюк с логистическим сигмоидом . . . . . . .353 8.5. Архитектуры, основанные на GAN . . . . . . . . . . . . . . . . . . . . . . . . .359 Глава 9. Глубокое обучение с подкреплением, или Удивительное происшествие с чемпионом . . . . . . . . . . . . . . .372 9.1. Обучение с подкреплением. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .373 9.2. Марковские процессы принятия решений. . . . . . . . . . . . . . . . . . . .379 9.3. От TDGammon к DQN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .391 9.4. Бамбуковая хлопушка . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .399 9.5. Градиент по стратегиям и другие применения . . . . . . . . . . . . . . . . .405 Глава 10. Нейробайесовские методы, или Прошлое и будущее машинного обучения . . . . . . . . . . . . . . .409 10.1. Теорема Байеса и нейронные сети . . . . . . . . . . . . . . . . . . . . . . . . .410 10.2. Алгоритм EM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .412 10.3. Вариационные приближения . . . . . . . . . . . . . . . . . . . . . . . . . . . .419 10.4. Вариационный автокодировщик . . . . . . . . . . . . . . . . . . . . . . . . . .426 10.5. Байесовские нейронные сети и дропаут. . . . . . . . . . . . . . . . . . . . .438 10.6. Заключение: что не вошло в книгу и что будет дальше . . . . . . . . . .446 Благодарности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .450 Литература . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .451
|