Самоорганизующиеся карты Teuvo Kohonen Self-Organizing Maps Third Edition With 129 Figures and 22 Tables Springer АДАПТИВНЫЕ ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ Т. <...> Лаборатория знаний» Телефон: (499) 157-5272 e-mail: binom@Lbz.ru, http://www.Lbz.ru Translation from the English language edition: Self-Organizing Maps by Teuvo Kohonen ISBN 978-5-9963-1348-8 (русск.) <...> Векторное квантование теперь вынесено в отдельный раздел. <...> К числу абсолютно новых понятий, обсуждаемых в третьей главе, относятся точечная плотность модельных векторов (разд. <...> В шестой главе добавлен пакетный вариант вычислительной схемы для метода обучающегося векторного квантования (LVQ1). <...> Адаптивно-подпространственная самоорганизующаяся карта (Adaptive-Subspace SOM—ASSOM) представляет собой новую архитектуру, в которой для организации процесса обучения без учителя используются детекторы инвариантных свойств. <...> Повидимому, алгоритм SOM относится к классу «некорректно поставленных» задач, но таковы многие проблемы в математике. <...> Следует отметить также участие д-ра Яри Кангаса (Jari Kangas), который отвечал за формирование исчерпывающей библиотеки литературных ссылок по SOM и LVQ. <...> [1.38, 1.40]), что алгоритм на основе дискретизированных главных кривых практически эквивалентен алгоритму SOM, представленному задолго до того, как в [1.38] <...> Пусть векторы образов из каждого класса имеют нормальные распределения, описываемые многомерными (нормированными) гауссовыми плотностями распределения вероятностей, при этом каждый класс характеризуется своими собственными параметрами: p(x | Sk) = 1 |Ψk| exp − 1 2 (x−mk)ТΨ−1 k (x−mk), (1.106) где mk —среднее значение, а Ψk —ковариационная матрица вектора x из класса с номером k, |Ψk|—определитель ковариационной матрицы. <...> Метод подпространств, однако, не ограничивается спектральными образами, в частности, он успешно используется для классификации оптических образов, используя их статистические свойства. <...> Входные «нейроны» данной сети линейны, и их весовые векторы отождествляются с базисными векторами b(i) Максимальный из выходов ˆ WTA-элемента. пунктиром, а h <...>
Самоорганизующиеся_карты_.pdf
АДАПТИВНЫЕ ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ
И
Т. Кохонен
Самоорганизующиеся
карты
Перевод 3-го английского издания
В. Н. Агеева
под редакцией Ю. В. Тюменцева
4-е издание, электронное
Лаборатория знаний
2021
Москва
Стр.4
ББКУДК 517.11+519.92
22.18
К75
С е р и я о с н о в а н а в 2005 г.
Кохонен Т.
К75 Самоорганизующиеся карты / Т. Кохонен ; пер. 3-го англ.
изд. — 4-е изд., электрон. —М. : Лаборатория знаний, 2021. —
660 с. —(Адаптивные и интеллектуальные системы). — Систем.
требования: Adobe Reader XI ; экран 10". — Загл. с титул.
экрана. —Текст : электронный.
ISBN 978-5-00101-179-8
Самоорганизующиеся карты вместе с их разновидностями представляют
собой одну из наиболее популярных нейросетевых архитектур,
ориентированных на обучение без учителя. Они широко используются
в таких областях, как статистика, обработка сигналов, теория
управления, финансовый анализ, экспериментальная физика,
химия, медицина, для решения сложных, многомерных, нелинейных
задач, связанных с извлечением признаков, обработкой и классификацией
изображений, адаптивным управлением и т. п. В книге дается
детальное изложение математического аппарата и применений для
самоорганизующихся карт.
Для специалистов в области теории и применений нейросетевого
моделирования, а также студентов и аспирантов соответствующих
специальностей.
ББКУДК 517.11+519.92
22.18
Деривативное издание на основе печатного аналога: Самоорганизующиеся
карты / Т. Кохонен ; пер. 3-го англ. изд. —
М. : БИНОМ. Лаборатория знаний, 2008. — 655 с. : ил., [2] с. цв.
вкл. —(Адаптивные и интеллектуальные системы).
ISBN 978-5-94774-352-4.
В соответствии со ст. 1299 и 1301 ГК РФ при устранении ограничений,
установленных техническими средствами защиты авторских прав,
правообладатель вправе требовать от нарушителя возмещения убытков
или выплаты компенсации
Copyright hysica-Verlag Heidelberg
1995,1997,2001
All rights Reserved
© P
ISBN 978-5-00101-179-8
Translation from the English
language edition: Self-Organizing
Maps by Teuvo Kohonen
© Перевод, оформление. Лаборатория
знаний, 2015
Стр.5
Оглавление
Предисловие к третьему изданию . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Предисловие ко второму изданию . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
Предисловие к первому изданию . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
Глава 1. Математическое введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.1. Математические понятия и обозначения . . . . . . . . . . . . . . . . . . . . 16
1.1.1. Векторное пространство и связанные с ним понятия . 16
1.1.2. Матричные обозначения . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.1.3. Собственные векторы и собственные значения матриц 28
1.1.4. Дополнительные свойства матриц . . . . . . . . . . . . . . . . . . 32
1.1.5. Матричное дифференциальное исчисление . . . . . . . . . . 35
1.2. Измерение расстояний между образами . . . . . . . . . . . . . . . . . . . . . 37
1.2.1. Измерение сходства и расстояния в векторных пространствах
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
1.2.2. Измерение сходства и расстояния между символьны1.2.3.
ми строками . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
Средние для совокупностей невекторных величин . . . 52
1.3. Статистический анализ образов . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
1.3.1. Основные понятия теории вероятностей . . . . . . . . . . . . 55
1.3.2. Проекционные методы . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
1.3.3. Классификация с учителем . . . . . . . . . . . . . . . . . . . . . . . . 68
1.3.4. Классификация без учителя . . . . . . . . . . . . . . . . . . . . . . . 75
1.4. Классификация методами подпространств . . . . . . . . . . . . . . . . . . 78
1.4.1. Основной метод подпространств . . . . . . . . . . . . . . . . . . . 78
1.4.2. Адаптация моделирующего подпространства к подпространству
входов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
1.4.3. Обучающийся метод подпространств . . . . . . . . . . . . . . . 87
1.5. Векторное квантование . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
1.5.1. Определения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
1.5.2. Вывод алгоритма векторного квантования . . . . . . . . . . 96
1.5.3. Точечная плотность в векторном квантовании . . . . . . 99
1.6. Динамически расширяющийся контекст . . . . . . . . . . . . . . . . . . . . 102
1.6.1. Постановка задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
1.6.2. Автоматическое формирование контекстнонезависимых
продукций . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
1.6.3. Бит конфликта . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
1.6.4. Формирование памяти для контекстно-зависимых
продукций . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
1.6.5. Алгоритм корректировки новых строк . . . . . . . . . . . . . 108
1.6.6. Оценочная процедура для неудачного поиска . . . . . . . 109
1.6.7. Практические эксперименты . . . . . . . . . . . . . . . . . . . . . . . 109
Стр.651
Оглавление
651
Глава 2. Нейронное моделирование . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
2.1. Модели, парадигмы и методы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
2.2. История основных идей нейронного моделирования . . . . . . . . . . 113
2.3. Работы по искусственному интеллекту . . . . . . . . . . . . . . . . . . . . . . 118
2.4. О сложности биологических нервных систем . . . . . . . . . . . . . . . . 119
2.5. Чем не являются мозговые схемы . . . . . . . . . . . . . . . . . . . . . . . . . . 121
2.6. Связь между биологическими и искусственными нейронными
сетями . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
2.7. Какие функции мозга обычно моделируют? . . . . . . . . . . . . . . . . . 125
2.8. Когда следует использовать нейронные вычисления? . . . . . . . . 126
2.9. Преобразование, релаксация и декодирование . . . . . . . . . . . . . . . 128
2.10. Виды искусственных нейронных сетей . . . . . . . . . . . . . . . . . . . . . . 131
2.11. Простая нелинейная динамическая модель нейрона . . . . . . . . . . 134
2.12. Три этапа развития нейронных моделей . . . . . . . . . . . . . . . . . . . . 137
2.13. Правила обучения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
2.13.1. Правило Хебба . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
2.13.2. Правило обучения типа Риккати . . . . . . . . . . . . . . . . . . . 140
2.13.3. Правило обучения, основанное на анализе главных
компонент . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
2.14. Некоторые действительно трудные проблемы . . . . . . . . . . . . . . . 146
2.15. Карты мозга . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
Глава 3. Основной вариант самоорганизующейся карты . . . . . . . . . . . 159
3.1. Качественное введение в самоорганизующиеся карты . . . . . . . . 160
3.2. Исходный пошаговый алгоритм SOM . . . . . . . . . . . . . . . . . . . . . . . 164
3.3. Алгоритм SOM, основанный на скалярном произведении . . . . . 172
3.4. Другие предварительные примеры отображений, сохраняющих
топологию . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
3.4.1. Упорядочение эталонных векторов во входном пространстве
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
3.4.2. Демонстрации упорядочения откликов в выходном
пространстве . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
3.5. Основные математические подходы к процессам самоорганизации
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
3.5.2. Конструктивное доказательство упорядоченности еще
для одной одномерной SOM . . . . . . . . . . . . . . . . . . . . . . . 194
3.5.1. Одномерный случай . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
3.6. Пакетный вариант алгоритма SOM . . . . . . . . . . . . . . . . . . . . . . . . . 201
3.7. Инициализация алгоритмов SOM . . . . . . . . . . . . . . . . . . . . . . . . . . 206
3.8. Об «оптимальном» коэффициенте скорости обучения . . . . . . . . 207
3.9. Влияние вида функции соседства . . . . . . . . . . . . . . . . . . . . . . . . . . 211
3.10. Следует ли алгоритм SOM из меры искажения? . . . . . . . . . . . . . 212
3.11. Попытка оптимизации алгоритма SOM . . . . . . . . . . . . . . . . . . . . . 214
3.12. Точечная плотность модельных векторов . . . . . . . . . . . . . . . . . . . 220
3.12.1. Ранние исследования . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
3.12.2. Численная проверка точечных плотностей в конечной
одномерной SOM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
3.14.2. Карта для матрицы с неполными данными (случай
пропущенных данных): «карта благосостояния» . . . . . 236
3.13. Практические советы, облегчающие получение хороших карт . 229
3.14. Примеры анализа данных с помощью SOM . . . . . . . . . . . . . . . . . 232
3.14.1. Карты признаков в случае полной матрицы данных . 232
3.15. Использование оттенков серого цвета при отображении кластеров
в SOM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
3.16. Интерпретация отображения SOM . . . . . . . . . . . . . . . . . . . . . . . . . 240
3.16.1. «Локальные главные компоненты» . . . . . . . . . . . . . . . . . 240
3.16.2. Влияние некоторых величин на структуру кластеров 241
Стр.652
652
Оглавление
3.17. Ускорение вычислений при формировании SOM . . . . . . . . . . . . . 242
3.17.1. Быстрый поиск победителя . . . . . . . . . . . . . . . . . . . . . . . . 242
3.17.2. Увеличение числа элементов в SOM . . . . . . . . . . . . . . . . 245
3.17.3. Сглаживание . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
Глава 4. Физиологическая интерпретация SOM . . . . . . . . . . . . . . . . . . . 251
4.1. Условия существования карт абстрактных признаков в мозгу . 251
4.2. Два различных латеральных механизма управления . . . . . . . . . 253
Латеральное управление пластичностью . . . . . . . . . . . . 259
4.2.1. WTA-функция, основанная на латеральном управле4.2.2.
нии активностью . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
3.17.4. Комбинация сглаживания, увеличения размера решетки
и алгоритма SOM . . . . . . . . . . . . . . . . . . . . . . . . . . 250
4.3. Уравнение обучения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
4.4. Системные модели SOM и их применение . . . . . . . . . . . . . . . . . . . 262
4.5. Резюме свойств физиологической модели SOM . . . . . . . . . . . . . . 265
4.6. Сходства между картами мозга и моделируемыми картами признаков
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
4.6.1. Фактор размера . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
4.6.2. Карты с изъянами . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
4.6.3. Перекрывающиеся карты . . . . . . . . . . . . . . . . . . . . . . . . . . 267
Глава 5. Варианты самоорганизующихся карт . . . . . . . . . . . . . . . . . . . . 268
5.1. Обзор идей, связанных с видоизменениями основного варианта
самоорганизующейся карты . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
5.2. Адаптивные тензорные веса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
5.3. Поиск решения для совокупности самоорганизующихся карт с
древовидной структурой связей между ними . . . . . . . . . . . . . . . . 276
5.4. Различные определения соседства . . . . . . . . . . . . . . . . . . . . . . . . . . 277
5.5. Области соседства в пространстве сигналов . . . . . . . . . . . . . . . . . 280
5.6. Динамические элементы, добавляемые в SOM . . . . . . . . . . . . . . . 285
5.7. Самоорганизующиеся карты для символьных строк . . . . . . . . . . 286
5.7.1. Инициализация SOM для строк . . . . . . . . . . . . . . . . . . . . 287
5.7.2. Пакетный вариант самоорганизующейся карты
5.7.3. для строк . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
5.7.4. Простой пример: SOM для фонетической транскрипции
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
сравниваемыхВыявление победителя в ситуации неразличимости
строк . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
5.8. Операторные карты . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
5.9. Самоорганизующиеся карты с эволюционным обучением . . . . . 294
5.9.1. Эволюционно-обучающиеся фильтры . . . . . . . . . . . . . . . 294
5.9.2. Самоорганизация с использованием функции приспособленности
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
5.10. Самоорганизующиеся карты, формируемые с учителем . . . . . . 300
5.11. Адаптивно-подпространственная самоорганизующаяся карта . 301
5.11.1. Проблема инвариантных признаков . . . . . . . . . . . . . . . . 301
5.11.2. Соотношение между инвариантными признаками и
5.11.3. линейными подпространствами . . . . . . . . . . . . . . . . . . . . 305
5.11.4. Алгоритм ASSOM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
5.11.5. Эксперименты с алгоритмом ASSOM . . . . . . . . . . . . . . . 318
Получение алгоритма ASSOM с использованием стохастической
аппроксимации . . . . . . . . . . . . . . . . . . . . . . . 316
5.12. Адаптивно-подпространственная SOM, управляемая c помощью
обратных связей (FASSOM) . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
Стр.653
Оглавление
653
Глава 6. Обучающееся векторное квантование . . . . . . . . . . . . . . . . . . . . 338
6.1. Оптимальное решение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
6.2. Алгоритм LVQ1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
6.3. Алгоритм LVQ1 с оптимальной скоростью обучения (OLVQ1) 344
6.4. Пакетный алгоритм LVQ1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
6.5. Пакетный алгоритм LVQ1 для символьных строк . . . . . . . . . . . . 347
6.6. Алгоритм LVQ2 (LVQ2.1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
6.7. Алгоритм LVQ3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
6.8. Различия между алгоритмами LVQ1, LVQ2 и LVQ3 . . . . . . . . . . 350
6.9. Общий анализ алгоритмов LVQ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
6.10. Алгоритм LVQ-гиперкарты . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
6.11. Алгоритм LVQ–SOM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
Глава 7. Применения самоорганизующихся карт . . . . . . . . . . . . . . . . . . 362
7.1. Предобработка оптических образов . . . . . . . . . . . . . . . . . . . . . . . . . 364
7.1.1. Размывание . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
7.1.2. Разложение по глобальным признакам . . . . . . . . . . . . . 365
7.1.3. Спектральный анализ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
7.1.4. Разложение по локальным свойствам (вейвлетам) . . . 367
7.1.5. Выводы относительно признаков оптических образов 368
7.2. Акустическая предобработка . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
7.3. Мониторинг процессов и машин . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
7.3.1. Выбор входных величин и их масштабирование . . . . . 371
7.3.2. Анализ больших систем . . . . . . . . . . . . . . . . . . . . . . . . . . . 372
7.4. Диагностирование речевых характеристик . . . . . . . . . . . . . . . . . . 377
7.5. Транскрибирование слитной речи . . . . . . . . . . . . . . . . . . . . . . . . . . 378
7.6. Текстурный анализ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386
7.7. Контекстные карты . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
7.7.1. Искусственно сформированные выражения . . . . . . . . . 390
7.7.2. Текст на естественном языке . . . . . . . . . . . . . . . . . . . . . . 394
7.8.2. Формирование очень больших карт WEBSOM мето7.8.3.
дом проекций . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
7.9. Управление роботизированной рукой . . . . . . . . . . . . . . . . . . . . . . . 413
7.10. Телекоммуникация . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419
7.10.1. Адаптивный детектор для квантованных сигналов . . . 419
Карта WEBSOM для электронных аннотаций патентов
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
7.9.1. Одновременное обучение по входным и выходным па7.9.2.
раметрам . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
Другой пример управления роботизированной рукой 418
7.10.2. Коррекция канала в адаптивной квадратурной амплитудной
модуляции . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421
7.10.3. Помехозащищенная передача изображений с помощью
пары SOM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422
7.8. Организация больших информационных массивов . . . . . . . . . . . 394
7.8.1. Статистические модели документов . . . . . . . . . . . . . . . . 395
7.11. SOM как алгоритм оценивания . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
7.11.1. Симметричное (автоассоциативное) отображение . . . . 426
7.11.2. Асимметричное (гетероассоциативное) отображение . 427
Глава 8. Средства программного обеспечения для SOM . . . . . . . . . . . 429
8.1. Обязательные требования к программам, реализующим SOM . 429
8.2. Желательные дополнительные свойства программ, реализующих
SOM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433
Стр.654
654
Оглавление
8.3. Пакеты программ, реализующие SOM . . . . . . . . . . . . . . . . . . . . . . 435
8.3.1. Пакет SOM_PAK . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436
8.3.2. Пакет SOM Toolbox . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438
8.3.3. Инструментальный пакет Nenet (Neural Networks
8.3.4. Tool) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439
Пакет Viscovery SOMine . . . . . . . . . . . . . . . . . . . . . . . . . . . 441
8.4. Примеры использования пакета SOM_PAK . . . . . . . . . . . . . . . . . 442
8.4.1. Форматы файлов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442
8.4.2. Описание программ пакета SOM_PAK . . . . . . . . . . . . . 446
8.4.3. Типовая обучающая последовательность . . . . . . . . . . . 451
8.5. Нейросетевые пакеты программ, включающие средства работы
с SOM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453
Глава 9. Аппаратные реализации самоорганизующихся карт . . . . . . 455
9.1. Аналоговое классифицирующее устройство . . . . . . . . . . . . . . . . . 456
9.2. Быстрые цифровые классифицирующие схемы . . . . . . . . . . . . . . 460
9.3. Реализация самоорганизующихся карт с использованием SIMD9.4.
машин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466
матриц . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472
9.5. Транспьютерные реализации самоорганизующихся карт . . . . . . 470
лическихРеализации самоорганизующихся карт с использованием систо9.8.
Микросхема NBISOM_25 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477
Глава 10. Обзор литературы по самоорганизующимся картам . . . . . 479
9.6. Микросхема COKOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473
9.7. Микросхема TInMНС . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474
10.1. Книги и обзорные статьи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 480
10.2. Ранние работы по соревновательному обучению . . . . . . . . . . . . . 480
10.3. Состояние математических исследований . . . . . . . . . . . . . . . . . . . 482
10.3.1. Результаты для топологии нулевого порядка (классическое
векторное квантование) . . . . . . . . . . . . . . . . . . . . . 482
10.3.2. Альтернативные топологические отображения . . . . . . 483
10.3.3. Альтернативные архитектуры . . . . . . . . . . . . . . . . . . . . . 483
10.3.4. Функциональные варианты . . . . . . . . . . . . . . . . . . . . . . . . 485
10.3.5. Теория базисной самоорганизующейся карты . . . . . . . 486
10.5.2. Оптическое распознавание печатных и рукописных
символов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 498
10.4. Обучающееся векторное квантование . . . . . . . . . . . . . . . . . . . . . . . 494
10.5. Различные применения самоорганизующихся карт . . . . . . . . . . . 495
10.5.1. Машинное зрение и анализ изображений . . . . . . . . . . . 495
10.5.3. Анализ и распознавание речи . . . . . . . . . . . . . . . . . . . . . . 498
10.5.4. Акустические и музыкальные исследования . . . . . . . . . 500
10.5.5. Обработка сигналов и радиолокационные измерения . 500
10.5.6. Телекоммуникации . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 501
10.5.7. Промышленные и другие измерения в реальных ситуациях
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 501
10.5.8. Управление процессами . . . . . . . . . . . . . . . . . . . . . . . . . . . 502
10.5.9. Робототехника . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503
10.5.10. Проектирование электронных схем . . . . . . . . . . . . . . . . . 504
10.5.11. Физика . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 505
10.5.12. Химия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 505
10.5.13. Биомедицинские исследования, не связанные с обработкой
изображений . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506
10.5.14. Нейрофизиологические исследования . . . . . . . . . . . . . . . 506
10.5.15. Анализ и обработка данных . . . . . . . . . . . . . . . . . . . . . . . 507
10.5.16. Лингвистика и проблемы искусственного интеллекта 508
Стр.655
Оглавление
655
10.5.17. Математические и другие теоретические проблемы . . 509
10.6. Применения обучающегося векторного квантования . . . . . . . . . 511
10.7. Обзор реализаций самоорганизующихся карт и обучающегося
векторного квантования . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 513
Глава 11. Толковый словарь «нейронных» терминов . . . . . . . . . . . . . . 515
Литература . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 556
Стр.656