Евгений Черняк - давний исследователь искусственного интеллекта.
Автору книги "Введение в глубокое обучение" потребовалось некоторое время, чтобы это понять суть революционных изменений в сфере машинномго обучения и нейронных сетях. Можно сказать в его оправдание, что нейронные сети угрожают революцией уже третий раз, а отнюдь не первый. Тем не менее автор изо всех сил пытался наверстать упущенное. Именно поэтому он сделал то, что сделал бы на его месте любой уважающий себя профессор: запланировал преподавание курса и начал ускоренно изучать материал.

Этим объясняется несколько выдающихся особенностей этой книги "Введение в глубокое обучение". Во-первых, краткость. Мы учимся медленно. Во-вторых, она сильно зависит от проекта. Многие публикации, особенно в области информатики, постоянно имеют противоречия между организацией темы и организацией материалов, связанных с конкретными проектами. Подобное разделение зачастую является хорошей идеей, но мы считаем, что материал по информатике лучше изучать при написании программ, поэтому книга во многом отражает привычки автора в преподавании. Таков был самый удобный способ написания книги, и мы надеемся, что многие из читателей тоже найдут ее полезной.

Хотя многие практикующие в области информатики сочтут книгу полезной по той же причине, по которой автор ее написал в первую очередь как преподаватель, он верит своим ученикам, поэтому книга изначально задумана в качестве учебника для курса по глубокому обучению.

Курс, который автор преподает в Брауне, предназначен как для выпускников, так и для других студентов, и охватывает весь материал.
Автор также предполагает элементарные знания читателей по программированию на языке Python. Здесь рассмотрен язык Tensorflow, введение в который присутствует в этой книге.
Здесь требуются как линейная алгебра, так и многовариантное исчисление. Хотя фактическое количество материала по линейной алгебре не так уж велико, студенты сказали, что без него им было бы довольно сложно разобраться в многослойных сетях и необходимых им тензорах. Тем не менее многовариантное исчисление было им гораздо понятней. Это явно появляется только в главе 1, когда обратное распространение создается "с нуля", и не удивительно, если окажется полезной дополнительная лекция по частным производным. И наконец, есть предпосылка для вероятности и статистики. Это упрощает диспозицию, и автор, конечно же, хочет побудить студентов пройти такой курс.
Хотя базовые сведения по языку Python не включены в книгу, но у автора есть дополнительная "лаборатория" по основам языка Python.

Об авторе:
Евгений Черняк (Eugene Charniak) - исследователь искусственного интеллекта, специализирующийся на обработке естественного языка, революцию в котором сделало глубокое обучение.



Оглавление книги Евгения Черняка "Введение в глубокое обучение"



Глава 1. Нейронные сети с прямой связью 11
1.1. Перцептроны 13
1.2. Функция кросс-энтропийных потерь для нейронных сетей 19
1.3. Производные и стохастический градиентный спуск 23
1.4. Написание программы 28
1.5. Матричное представление нейронных сетей 30
1.6. Независимость данных 33
1.7. Ссылки и что читать дальше 35
1.8. Упражнения 36

Глава 2. Язык Tensorflow 39
2.1. Вводная информация о Tensorflow 39
2.2. Программа TF 43
2.3. Многослойные NN 48
2.4. Другие части 51
2.4.1. Создание контрольных точек 51
2.4.2. tensordot 53
2.4.3. Инициализация переменных TF 55
2.4.4. Упрощение создания графов TF 57
2.5. Ссылки и что читать дальше 58
2.6. Упражнения 58

Глава 3. Сверточные нейронные сети 61
3.1. Фильтры, шаги и дополнения 62
3.2. Простой пример свертки TF 68
3.3. Многослойная свертка 70
3.4. Детали свертки 74
3.4.1. Смещения 74
3.4.2. Слои со сверткой 74
3.4.3. Объединение 75
3.5. Ссылки и что читать дальше 76
3.6. Упражнения 77

Глава 4. Векторное представление слов
и рекуррентные NN 79
4.1. Векторное представление слова для языковых моделей 79
4.2. Создание языковых моделей с прямой связью 84
4.3. Улучшение языковых моделей с прямой связью 86
4.4. Переобучение 87
4.5. Рекуррентные сети 90
4.6. Долгая краткосрочная память 97
4.7. Ссылки и что читать дальше 100
4.8. Упражнения 101

Глава 5. Обучение от последовательности
к последовательности 103
5.1. Парадигма Seq2Seq 104
5.2. Написание программы Seq2Seq MT 107
5.3. Внимание в Seq2seq 110
5.4. Seq2Seq с несколькими длинами окон 114
5.5. Упражнение по программированию 115
5.6. Упражнения 118
5.7. Ссылки и что читать дальше 118

Глава 6. Глубокое обучение с подкреплением 121
6.1. Итерация по значениям 122
6.2. Q-обучение 125
6.3. Основы глубокого Q-обучения 128
6.4. Методы градиента политики 131
6.5. Методы актор-критик 138
6.6. Воспроизведение опыта 140
6.7. Ссылки и что читать дальше 142
6.8. Упражнения 142

Глава 7. Модели нейронных сетей,
обучаемых без учителя 145
7.1. Основы автокодировки 145
7.2. Сверточное автокодирование 149
7.3. Вариационное автокодирование 153
7.4. Генеративно-состязательные сети 161
7.5. Ссылки и что читать дальше 166
7.6. Упражнения 166

Приложение. Ответы к некоторым упражнениям 169