УДК 004.8
ББК 32.81
К62
К62 Биологическое и компьютерное зрение / пер. с англ. И. Л. Люско; под ред.
Т. Б. Киселевой, Т. И. Люско. – М.: ДМК Пресс, 2022. – 314 с.: ил.
Крейман Г.
ISBN 978-5-93700-100-9
Книга посвящена разработкам искусственного интеллекта в части компьютерного
зрения и объединяет подходы, позволяющие рассмотреть эту тему на
пересечении биологии и математического моделирования.
В первой части книги рассматриваются биологические основы зрения: читатель
знакомится с различными аспектами зрительного восприятия и узнает, какие
структуры нейронов его обеспечивают, какие процессы происходят в мозге при
распознавании образов. Во второй части представлены различные структуры
математических моделей – нейронных сетей, и принципы их работы. Затрагиваются,
в частности, глубокие сверточные нейронные сети, машинное обучение
и генеративные состязательные сети. Последняя глава посвящена исследованию
самого феномена сознания.
Издание рассчитано на широкую аудиторию, интересующуюся искусственным
интеллектом и компьютерным зрением, в частности тем, как машины учат видеть
и интерпретировать визуальный мир.
УДК 004.8
ББК 32.81
This translation of Biological and Computer Vision is published by arrangement with
Cambridge University Press. Copyright © 2021 by DMK Press Publishing. All rights reserved.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой
бы то ни было форме и какими бы то ни было средствами без письменного разрешения
владельцев авторских прав.
ISBN 978-1-108-48343-8 (англ.)
ISBN 978-5-93700-100-9 (рус.)
© Gabriel Kreiman, 2021
© Перевод, оформление, издание,
ДМК Пресс, 2022
Стр.5
Содержание
От издательства ....................................................................................................11
Предисловие ..........................................................................................................12
Благодарности ......................................................................................................17
Сокращения ............................................................................................................19
Глава 1. Знакомство с миром зрения ........................................................21
1.1. Эволюция зрительной системы ........................................................................22
1.2. Будущее зрения ...................................................................................................24
1.3. Почему зрение – не такая простая вещь? ........................................................26
1.4. Четыре важнейшие особенности зрительного восприятия .........................27
1.5. Путешествия и приключения фотона ..............................................................30
1.6. Манипуляции с визуальной системой .............................................................32
1.7. Функции цепей зрительной коры .....................................................................34
1.8. К нейронным коррелятам зрительного сознания .........................................37
1.9. К разработке теории зрительного восприятия ...............................................39
1.10. Обзор главы ........................................................................................................42
Литература ..................................................................................................................42
Глава 2. Путешествие фотона. Статистика естественного
изображения и сетчатка ..................................................................................43
2.1. Естественные изображения имеют свои особенности ..................................44
2.2. Эффективное кодирование за счет выделения дополнительных
ресурсов там, где они необходимы .........................................................................46
2.3. Визуальный мир – медленный..........................................................................47
2.4. Наши глаза находятся в непрерывном движении .........................................48
2.5. Сетчатка извлекает информацию из света .....................................................51
2.6. Требуется время, чтобы информация достигла зрительного нерва ...........58
2.7. Зрительные нейроны реагируют на определенную область поля зрения ....58
2.8. Оператор разности гауссиан извлекает важную информацию
и игнорирует однородные области .........................................................................60
2.9. Зрительные нейроны реагируют на изменения .............................................62
2.10. Движемся дальше, к другим отделам мозга ..................................................63
2.11. Цифровая камера vs глаз..................................................................................64
2.12. Обзор главы ........................................................................................................66
Литература ..................................................................................................................66
Глава 3. Феноменология зрения ..................................................................68
3.1. Образ внешнего мира, рожденный нашим восприятием, – это совсем
не то , что видят наши глаза ......................................................................................68
Стр.7
Содержание 7
3.2. Зрительный образ зависит от адекватной группировки частей
изображения с по мощью определенных правил ..................................................70
3.3. Целое может быть больше, чем сумма его частей ..........................................72
3.4. Зрительная система компенсирует искажения в изображениях
объектов ......................................................................................................................72
3.5. Финальная сборка: построение целого из видимых частей ........................76
3.6. Визуальное распознавание совершается очень быстро ................................78
3.7. Пространственный контекст также имеет значение .....................................83
3.8. Ценность визуального опыта ............................................................................85
3.9. Люди примерно одинаковые, куда бы вы ни пошли, с некоторыми
исключениями ............................................................................................................87
3.10. Зрение многих животных ничуть не хуже нашего ......................................88
3.11. Обзор главы ........................................................................................................91
Литература ..................................................................................................................92
Глава 4. Генерация зрительных образов и изменение
зрительного восприятия посредством повреждений
и электрической стимуляции мозга ...........................................................93
4.1. Корреляции и причинность в неврологии ......................................................94
4.2. Арсенал инструментов для изучения функциональной роли
различных областей мозга у животных ..................................................................95
4.3. Некоторые инструменты для изучения функциональной роли
областей человеческого мозга .................................................................................99
4.4. Частичные повреждения первичной зрительной коры головного
мозга приводят к локализованным скотомам ....................................................101
4.5. Пути «что» и «где» .............................................................................................105
4.6. Повреждения дорсального потока на пути «где» .........................................105
4.7. Нижняя височная кора критически важна для распознавания
визуальных объектов у обезьян .............................................................................107
4.8. Повреждения, ведущие к нарушению распознавания зрительных
образов у человека ...................................................................................................108
4.9. Инвазивная электрическая стимуляция мозга человека ............................112
4.10. Электрическая стимуляция зрительной коры приматов ..........................117
4.11. Обзор главы ......................................................................................................121
Литература ................................................................................................................121
Глава 5. Приключения в terra incognita. Исследование
нейронных цепей вентрального зрительного потока ....................123
5.1. О неокортексе ....................................................................................................124
5.2. Связь с первичной зрительной корой и обратная связь .............................125
5.3. Золотой стандарт временного разрешения для исследования
нейронов ...................................................................................................................128
5.4. Нейроны в первичной зрительной коре головного мозга
избирательно реагируют на полосы, показанные в разной ориентации ........129
5.5. Сложные нейроны демонстрируют толерантность к изменениям
положения стимулов ...............................................................................................131
Стр.8
8 Содержание
5.6. Соседствующие нейроны проявляют схожие свойства ...............................134
5.7. Количественное феноменологическое описание откликов нейронов
в первичной зрительной коре ................................................................................135
5.8. Простая модель ориентационной избирательности в первичной
зрительной коре .......................................................................................................136
5.9. Другие сюрпризы V1 .........................................................................................138
5.10. Разделяй и властвуй .......................................................................................140
5.11. Невозможно исчерпывающе изучить реакцию на все возможные
визуальные стимулы ...............................................................................................141
5.12. Мы живем визуальным прошлым: латентность реакции вдоль
вентрального потока увеличивается ....................................................................143
5.13. Увеличение размера воспринимающего поля вдоль вентрального
зрительного потока .................................................................................................145
5.14. Что предпочитают нейроны за пределами V1? ..........................................146
5.15. Мозг конструирует интерпретацию мира: cлучай иллюзорных
контуров ....................................................................................................................147
5.16. Красочный V4...................................................................................................149
5.17. Модуляция внимания .....................................................................................149
5.18. Обзор главы ......................................................................................................150
Литература ................................................................................................................151
Глава 6. От высших уровней обработки зрительного
сигнала к распознаванию образов ...........................................................152
6.1. Зона с хорошей коммуникацией ....................................................................153
6.2. ITC-нейроны демонстрируют избирательность к формам ........................153
6.3. Избирательность вентральной зрительной коры человека .......................156
6.4. Чего хотят нейроны ITC на самом деле? .........................................................158
6.5. Нейроны ITC демонстрируют толерантность к преобразованиям
объектов ....................................................................................................................160
6.6. Нейроны могут завершать формы частично видимых объектов ..............161
6.7. Информационные технологии выходят на передний план ........................162
6.8. Нейроны ITC больше озабочены формой, чем смыслом ............................166
6.9. Адаптация нейронных реакций .....................................................................168
6.10. Представление визуальной информации при отсутствии
визуального стимула ...............................................................................................170
6.11. Цели, поставленные в задаче, модулируют нейронные реакции ............171
6.12. Роль опыта в формировании настройки предпочтений нейронов .........173
6.13. Мост между зрением и распознаванием образов ......................................174
6.14. Обзор главы ......................................................................................................175
Литература ................................................................................................................176
Глава 7. Нейробиологически подобные вычислительные
модели ....................................................................................................................177
7.1. Зачем нужны вычислительные модели? ........................................................177
7.2. Модели одиночных нейронов .........................................................................180
7.3. Модели сетей ......................................................................................................185
Стр.9
Содержание 9
7.4. Сетевые модели с частотой срабатывания нейронов ..................................189
7.5. Операция свертки..............................................................................................189
7.6. Сети Хопфилда ...................................................................................................192
7.7. Нейронные сети могут решать задачи распознавания ................................195
7.8. Экстремальный биологический реализм: проект «Blue Brain» ..................197
7.9. Обзор главы ........................................................................................................198
Литература ................................................................................................................199
Глава 8. Учим компьютеры видеть ...........................................................200
8.1. Краткое описание и определения ..................................................................200
8.2. Общие темы в моделировании вентрального потока обработки
зрительного сигнала ................................................................................................204
8.3. Арсенал моделей ...............................................................................................205
8.4. Общая схема решения задачи распознавания образов ..............................208
8.5. Восходящие иерархические модели вентрального зрительного
потока ........................................................................................................................209
8.6. Изучение весовых параметров .......................................................................212
8.7. Базы данных названий .....................................................................................218
8.8. Перекрестная проверка необходима .............................................................221
8.9. Предупреждение: множество параметров! ...................................................222
8.10. Известный пример: распознавание цифр в сети прямого
распространения, обученной методом градиентного спуска ...........................223
8.11. Глубокая сверточная нейронная сеть в действии ......................................224
8.12. Ошибаться свойственно и людям, и алгоритмам ......................................229
8.13. Прогнозирование движений глаз .................................................................232
8.14. Прогнозирование частоты возбуждения нейронов ...................................237
8.15. Все модели неточны, но некоторые полезны .............................................239
8.16. Горизонтальные и нисходящие сигналы при распознавании
образов.......................................................................................................................240
8.17. Предиктивное кодирование ..........................................................................241
8.18. Обзор главы ......................................................................................................246
Литература ................................................................................................................247
Глава 9. К миру с разумными машинами, которые смогут
видеть и интерпретировать мир вокруг нас ........................................248
9.1. Визуальный тест Тьюринга ..............................................................................249
9.2. Компьютерное зрение повсюду ......................................................................252
9.3. Добавление временной информации с помощью видео ............................257
9.4. Основные этапы классификации объектов...................................................258
9.5. Приложения алгоритмов компьютерного зрения для классификации
реальных объектов физического мира .................................................................261
9.6. Компьютерное зрение может помочь людям со зрительной
дисфункцией .............................................................................................................267
9.7. Глубокие сверточные нейронные сети работают и за пределами
зрения ........................................................................................................................269
9.8. Генераторы изображений и GAN ....................................................................269
Стр.10
10 Содержание
9.9. DeepDream и XDream: настройки вычислительных блоков
и биологических нейронов .....................................................................................271
9.10. Размышления о перекрестной проверке и экстраполяции ......................273
9.11. Состязательные изображения .......................................................................276
9.12. Обманчиво простые задачи, бросающие вызов алгоритмам
компьютерного зрения ...........................................................................................278
9.13. Вызовы, которые стоят впереди ...................................................................280
9.14. Обзор главы ......................................................................................................285
Литература ................................................................................................................286
Глава 10. Зрительное сознание ..................................................................287
10.1. Неполный список возможных ответов ........................................................289
10.2. Поиск NCC: нейронные корреляты сознания .............................................294
10.3. Осознанный образ должен быть «явным» ...................................................295
10.4. Экспериментальные подходы к изучению зрительного восприятия .....296
10.5. Нейронные корреляты зрительного восприятия во время
бинокулярного соперничества...............................................................................301
10.6. Требования к NCC ...........................................................................................304
10.7. Интегрированная теория информации .......................................................305
10.8. Обзор главы ......................................................................................................308
Литература ................................................................................................................309
Предметный указатель ...................................................................................310
Стр.11