ББК 30.17
Адрес издательства в Интернет www.techbook.ru
Научное издание
Галушкин Александр Иванович
Нейронные сети: основы теории
Редактор Ю. Н. <...> Термин «нейронные ЭВМ» –
«нейрокомпьютер» никак не связан с какими бы то ни было свойствами и характеристиками нервной системы человека и животных. <...> Он связан только с условным наименованием порогового элемента с настраиваемыми или фиксированными весами, который
реализует простейшую передаточную функцию нейрона-клетки. <...> Алгоритмы настройки
коэффициентов нейронных сетей реализуются либо «быстро» в
аналоговом виде, либо «медленнее» в виде специализированных цифровых схем, эмулирующих нейронные алгоритмы, либо
«медленно» в цифровом виде, например, на универсальной
персональной ЭВМ. <...> В данном случае логический базис вычислительной системы никак не определяется логическим базисом решаемых
задач, а требует наложения на него достаточно сложной системы программирования. <...> В случае нейронных ЭВМ логическим базисом вычислительной
системы в простейшем случае является базис {Σ ax ,sign} , который
максимально соответствует логическому базису основных решаемых задач. <...> Количество циклов ее работы в процессе решения задачи
(в рамках указанного алгоритмического ядра) – циклов настройки
на оптимум функционала вторичной оптимизации в ней (нейронной ЭВМ) определяется не субъективной интуицией схемотехника, который раскладывает обработку по слоям схемы из булевских элементов, и не субъективными воззрениями программиста,
который организует их взаимодействие, а физической сущностью и трудностью задачи. <...> Программная эмуляция нейронных алгоритмов на вычислительных машинах с архитектурами ОКОД (один поток команд,
один поток данных) (например, на классических ПЭВМ),ОКМД (например, Connection Machine) или МКМД (например, на транспьютерных сетях). <...> Нейрокомпьютеры – это системы, в которых алгоритм решения задачи представлен логической сетью элементов частного вида – нейронов с
полным <...>
Нейронные_сети_основы_теории_(1).pdf
УДК 681.322
ББК 30.17
Г15
Рец е нз ен ты :
академик РАН Ю. В. Гуляев; доктор техн. наук Э. Д. Аведьян
Галушкин А. И.
Г15 Нейронные сети: основы теории. – М.: Горячая линия–
Телеком, 2024. – 496 с.: ил.
ISBN 978-5-9912-0082-0.
Изложена методика синтеза многослойных нейросетей различной
структуры: с полными и неполными последовательными
связями, перекрестными и обратными связями, функционирующими
в режимах обучения, самообучения, обучения с учителями,
обладающих конечной квалификацией. Приведены этапы
исследования надежности и диагностики нейронных сетей.
Представлены основные постановки задач перспективных исследований
в области теории нейронных сетей.
Для научных работников, аспирантов и студентов, занимающихся
разработкой и применением сверхвысокопроизводительной
вычислительной техники.
ББК 30.17
Научное издание
Галушкин Александр Иванович
Нейронные сети: основы теории
Любая часть этого издания не может быть воспроизведена в какой бы то ни было форме и какими
бы то ни было средствами без письменного разрешения правообладателя
© ООО «Научно-техническое издательство «Горячая линия – Телеком»
www.techbook.ru
Тиражирование книги начато в 2010 г.
Все права защищены.
© А. И. Галушкин (наследники)
Стр.2
Оглавление
Предисловие................................................................................................ 3
Профессор, Lotfi A. Zadeh
Университет Беркли, штат Калифорния .............................................. 3
Профессор, Robert Hecht-Nielsen
Вычислительная нейробиология, Институт нейронных вычислений
и факультет ЕСЕ Университета Калифорнии, Сан Диего .................. 6
Профессор Shun-ichi Amari
директор RIKEN Brain Science Institute,Токио ............................... 9
Введение...................................................................................................... 10
Раздел 1. Структура нейронных сетей .................................................. 51
Глава 1. От логического базиса булевских элементов И, ИЛИ, НЕ
к пороговому логическому базису ........................................................ 51
1.1. Линейный пороговый элемент (нейрон)........................................ 51
1.2. Многопороговая логика ............................................................... 54
1.3. Непрерывная логика .................................................................. 55
1.4. Частные виды функций активации ........................................ 56
Глава 2. Качественные характеристики архитектур
нейронных сетей.............................................................................. 60
2.1. Частные типы архитектур нейронных сетей ................................. 60
2.2. Многослойные нейронные сети с последовательными
связями ..................................................................................... 62
2.3. Структурное и символическое описание многослойных
нейронных сетей ................................................................................. 65
Глава 3. Оптимизация структуры многослойных нейронных сетей
с перекрестными связями ..................................................................... 72
3.1. О критерии сложности задачи ....................................................... 72
3.2. Одномерный вариант нейронной сети с перекрестными
связями .................................................................................................. 73
3.3. Вывод верхней и нижней оценки количества областей............... 75
3.4. Частная задача оптимизации .................................................. 78
3.5. Оптимизация структуры по некоторым основным
топологическим характеристикам ........................................................ 81
3.6. Оптимизация структуры многослойных нейронных
сетей с Kр решениями....................................................................... 85
Глава 4. Континуальные нейронные сети ................................................. 89
4.1. Нейроны с континуумом признаков на входе ............................... 89
4.2. Континуум нейронов в слое ........................................................... 90
4.3. Континуум нейронов слоя и дискретное множество
признаков ...................................................................................... 91
4.4. Классификация континуальных моделей слоя
нейронов.................................................................................... 92
4.4.1. Дискретное множество нейронов.......................................... 92
4.4.2. Одномерное и двумерное m2 пространство
признаков.......................................................................................... 93
489
Стр.489
4.4.3. Континуум признаков. Одномерное m1, для нескольких
каналов...............................................................................................................94
4.4.4. Континуум признаков. Двумерное m1...................................................... 95
4.4.5. Слой нейронов с континуумом выходных значений ............ 95
Раздел 2. Оптимальные модели нейронных сетей............................. 98
Глава 5. Исследование характеристик входных сигналов ...................... 98
5.1. Постановка задачи.......................................................................... 98
5.2. Совместный закон распределения вероятностей
входного сигнала для двух классов образов ....................................... 100
5.3. Совместный закон распределения вероятностей
входного сигнала для K классов образов ............................................ 107
Глава 6. Построение оптимальных моделей нейронных сетей ............... 112
6.1. Общая структура оптимальной модели ........................................ 112
6.2. Аналитическое представление разделяющих
поверхностей в типовых нейронных сетях........................................... 114
6.3. Оптимальная модель нейронной сети для многомерных
сигналов е(n) и у (n) ............................................................................... 138
6.4. Априорная информация о входном сигнале нейронной
сети в режиме самообучения................................................................ 141
6.5. О критериях первичной оптимизации нейронной сети
в режиме самообучения ........................................................................ 143
6.6. Оптимальные модели нейронной сети в режиме
самообучения и при произвольной квалификации учителя ............... 145
Глава 7. Анализ разомкнутых нейронных сетей ....................................... 151
7.1. Законы распределения аналоговой и дискретной ошибок
нейронной сети ...................................................................................... 151
7.1.1. Нейрон с двумя решениями .................................................. 151
7.1.2. Нейрон с континуумом решений ........................................... 154
7.1.3. Анализ нейрона с Кр решениями........................................... 156
7.1.4. Анализ системы распознавания образов с нелинейной
разделяющей поверхностью ....................................................................158
7.2. Выбор функционала вторичной оптимизации .............................. 160
7.3. О выборе функционала вторичной оптимизации
в системе «Адалин»................................................................................................162
7.4. Формирование функционалов вторичной оптимизации,
соответствующих заданному критерию первичной оптимизации ......... 164
7.4.1. Критерий минимума средней функции ................................. 164
7.4.2. Критерий минимума R при условии равенства р1r1 = р2r2 ... 165
7.4.3. Критерий минимума R при условии ptrt= a = const ............... 166
7.5. Континуальные модели нейронной сети....................................... 167
7.5.1. Нейронная сеть с континуумом решений:
два класса образов .......................................................................... 168
7.5.2. Нейронная сеть с континуумом решений:
континуум классов образов ................................................................. 170
7.5.3. Нейронная сеть с Кр решениями; К классов образов .......... 171
490
Стр.490
7.5.4. Нейронная сеть с N*-выходными каналами;
К0 градаций сигнала по каждому классу......................................... 172
7.5.5. Нейронные сети с N*-выходными каналами;
континуум решений нейронных сетей ............................................ 172
7.6. Нейронная сеть в режимах самообучения
и при произвольной квалификации учителя........................................ 173
Глава 8. Поиск экстремума функций многих переменных ....................... 175
8.1. Организация процедуры поиска экстремума функционала
вторичной оптимизации в многослойных нейронных сетях ............... 175
8.2. Анализ итерационного метода поиска экстремума функций
многих переменных ............................................................................... 176
8.3. О методе стохастической аппроксимации ................................... 179
8.4. Итерационные методы поиска экстремума функций многих
переменных при наличии ограничений типа равенств
на переменные....................................................................................... 179
8.4.1. Алгоритм поиска..................................................................... 180
8.4.2. Анализ матрицы вторых производных функции Лагранжа . 181
8.4.3. Оптимальность по быстродействию итерационной
процедуры поиска экстремума при ограничениях типа равенств ......182
8.4.4. Оптимальность по быстродействию при ограничениях (8.6)....182
8.4.5. Случай ограничений типа равенств, решаемых
относительно переменных .............................................................. 183
8.4.6. Устойчивость итерационного процесса
при ограничениях типа равенств .................................................... 184
8.4.7. Сходимость итерационного метода поиска
при ограничениях типа равенств .................................................... 185
8.5. Итерационные методы поиска экстремума функций многих
переменных при наличии ограничений типа неравенств
на переменные....................................................................................... 186
8.5.1. Условия оптимальности......................................................... 186
8.5.2. Алгоритм поиска экстремума при наличии
ограничений типа неравенств ......................................................... 187
8.6. Алгоритм случайного поиска локальных и глобального
экстремумов функций многих переменных.......................................... 188
8.7. Построение алгоритмов адаптации в многослойных нейронных
сетях с использованием оценок производных второго
порядка функционала вторичной оптимизации................................... 190
8.7.1. Построение алгоритмов поиска ............................................ 190
8.7.2. Одномерный случай............................................................... 193
Раздел 3. Адаптивные нейронные сети .................................................... 196
Глава 9. Алгоритмы настройки нейронных сетей ..................................... 196
9.1. Постановка задачи.......................................................................... 196
9.2. Нейрон с двумя и континуумом решений...................................... 197
491
Стр.491
9.3. Двухслойные нейронные сети........................................................ 201
9.4. Многослойные нейронные сети из нейронов с континуумом
решений.................................................................................................. 204
9.5. Построение нейронных сетей, настраивающихся
по замкнутому циклу при ограничениях на переменные .................... 204
9.6. Реализация критериев первичной оптимизации в нейронах
с двумя решениями ............................................................................... 208
9.7. Реализация критерия минимума средней функции риска
в нейронах с континуумом и Kp решениями......................................... 210
9.8. Реализация критерия минимума средней функции риска
в нейронных сетях с N" выходными каналами (слой нейронов) ........ 212
9.9. Реализация критерия минимума средней функции риска
в многослойных нейронных сетях ........................................................ 214
9.10. Построение замкнутых нейронных сетей
нестационарных образов ...................................................................... 216
9.11. Построение нейронных сетей с перекрестными
и обратными связями, настраивающихся по замкнутому циклу ........ 219
9.12. Построение замкнутых нейронных сетей в режимах
самообучения и произвольной квалификации учителя ...................... 221
9.13. Вывод выражений для оценок производных второго
порядка функционала вторичной оптимизации................................... 223
Глава 10. Настройка континуальных нейронных сетей.................................. 226
10.1. Настройка нейрона с континуумом признаков ................................ 227
10.2. Настройка слоя, состоящего из континуума нейронов .............. 227
10.3. Выбор параметрической матрицы для процедуры обучения
континуального слоя нейронов на основе данных
случайных выборок............................................................................. 227
10.4. Выбор параметрической функции K*(I,j) на основе
данных случайных выборок для процедуры обучения
нейрона с континуумом признаков .................................................. 230
10.5. Особенности алгоритма настройки континуальной
двухслойной нейронной сети .....................................................233
10.6. Три варианта реализации весовых функций
континуального слоя нейронов и соответствующие
им процедуры обучения.............................................................233
10.7. Алгоритм обучения двухслойной континуальной нейронной
сети с функционалом вторичной оптимизации
а2g (в пространстве пяти признаков) .................................................... 236
10.7.1. Алгоритм обучения второго слоя (нейрон
с континуумом признаков) ........................................................ 237
10.7.2. Алгоритм обучения первого слоя (континуальный слой
нейронов) ..............................................................................238
492
Стр.492
10.8. Континуальный слой нейронов с кусочно-постоянными
весовыми функциями........................................................................ 238
10.8.1. Разомкнутая структура слоя................................................ 238
10.8.2. Рекуррентная процедура настройки кусочнопостоянных
весовых функций......................................................... 240
10.8.3. К вопросу об оценке матрицы K*(i) ..................................... 241
10.9. Континуальный слой нейронов с кусочно-линейными
весовыми функциями ............................................................................ 241
10.9.1. Разомкнутая структура слоя нейронов............................... 241
10.9.2. Рекуррентная процедура настройки кусочно-линейных
весовых функций.............................................................................. 242
10.10. Континуальный слой нейронной сети с кусочнопостоянными
весовыми функциями (случай фиксированных
величин «ступенек») ................................................................. 244
10.10.1 Разомкнутая структура слоя............................................... 244
10.10.2. Рекуррентная процедура настройки кусочно-постоянных
весовых функций с изменяемыми длинами отрезков τs........................... 245
Глава 11. Выбор начальных условий при настройке нейронных сетей.
Типовые входные сигналы многослойных нейронных сетей ................... 247
11.1. О методах выбора начальных условий....................................... 247
11.2. Алгоритм детерминированного выбора начальных условий
в алгоритмах настройки многослойных нейронных сетей.................. 248
11.3. Выбор начальных условий в многослойных нейронных сетях.. 251
11.4. Формирование начальных условий для настройки
коэффициентов нейронных сетей в различных задачах
оптимизации........................................................................................... 256
11.4.1. Системы линейных уравнений............................................ 257
11.4.2. Системы линейных неравенств .......................................... 258
11.4.3. Аппроксимация и экстраполяция функции......................... 258
11.4.4. Распознавание образов....................................................... 259
11.4.5. Кластеризации...................................................................... 261
11.4.6. Задача коммивояжера ......................................................... 262
11.4.7. Моделирование динамических систем............................... 262
11.4.8. Заключение........................................................................... 263
11.5. Типовые входные сигналы многослойных нейронных сетей .... 263
Глава 12. Исследование замкнутых многослойных нейронных сетей .... 266
12.1. Постановка задачи синтеза контура настройки
многослойных нейронных сетей по замкнутому циклу ....................... 266
12.2. Исследование нейрона при многомодальном распределении
входного сигнала .................................................................................. 267
12.2.1. Одномерный случай; поисковый алгоритм настройки....... 267
12.2.2. Многомерный случай. Аналитический алгоритм
настройки.......................................................................................... 271
12.3. Исследование динамики частного вида нейронных сетей
для распознавания нестационарных образов ..................................... 277
493
Стр.493
12.4. Исследование динамики трехслойной нейронной сети
в режиме обучения............................................................................. 283
12.5. Исследование нейронной сети частного вида с обратными
связями................................................................................................... 288
12.6. Исследование динамики однослойных нейронных сетей
в режиме самообучения ................................................................... 293
12.6.1. Нейронная сеть с поиском центров мод
распределения f(x) ....................................................................................293
12.6.2. Нейронная сеть с N* выходными каналами ....................... 297
12.6.3. Нейрон с K решениями ........................................................ 301
12.7. Двухслойная нейронная сеть в режиме самообучения ............. 302
12.8. О некоторых инженерных методах выбора параметров
матриц в алгоритмах настройки многослойных
по замкнутому циклу .......................................................................... 312
12.9. Построение многослойной нейронной сети для решения
задачи обращения матрицы............................................................. 313
12.10. Построение многослойной нейронной сети для
решения задачи перевода чисел из двоичной системы
исчисления в десятичную ................................................................... 316
12.11. Исследование многослойной нейронной сети
при произвольной квалификации учителя.................................... 318
12.12. Аналитические методы исследования нейронных
сетей, настраивающихся по замкнутому циклу .......................... 319
Глава 13. Синтез многослойных нейронных сетей с переменной
структурой .................................................................................................... 332
13.1. Последовательный алгоритм обучения нейронов
первого слоя многослойной нейронной сети ................................ 332
13.2. Алгоритм обучения нейронов первого слоя
многослойной нейронной сети с применением метода
случайного поиска локальных и глобального
экстремумов функций........................................................................ 337
13.3. Анализ сходимости алгоритмов при увеличении
числа гиперплоскостей ...................................................................... 341
13.4. Алгоритм обучения нейронов второго слоя
двухслойной нейронной сети........................................................... 344
13.4.1. Условие реализуемости логической функции ε(у)
на одном нейроне ................................................................................. 344
13.4.2. Синтез нейрона методом минимизации функционала...... 347
13.4.3. Синтез нейрона по таблицам пороговых функций ............ 352
13.5. Алгоритм обучения второго и третьего слоев
нейронов трехслойной нейронной сети ........................................ 353
13.6. Общая методика последовательного синтеза
многослойных нейронных сетей ..................................................... 356
494
Стр.494
13.7. Метод обучения нейронов первого слоя многослойной
нейронной сети с континуумом признаков ................................... 357
13.8. Использование алгоритма настройки многослойных
нейронных сетей с переменной структурой для решения
задачи выбора начальных условий ............................................... 357
13.9. Об алгоритме самообучения многослойных нейронных
сетей с переменной структурой .................................................... 359
Глава 14. Выбор информативных признаков в многослойных
нейронных сетях.......................................................................................... 360
14.1. Постановка задачи выбора информативных признаков
в режиме обучения ................................................................................ 360
14.2. О структурных методах выбора информативных признаков
в многослойных нейронных сетях с фиксированной структурой ....... 363
14.3. Выбор информативных признаков исходного пространства
с помощью многослойных нейронных сетей с последовательными
алгоритмами настройки нейронов первого слоя................................. 366
14.4. Минимизация числа нейронов..................................................... 368
14.5. О выборе информативных признаков в многослойных
нейронных сетях в режиме самообучения........................................... 370
Раздел 4. Надежность и диагностика нейронных сетей..................... 372
Глава 15. Надежность нейронных сетей ................................................... 372
15.1. Методы исследования функциональной надежности
нейронных сетей.................................................................................... 372
15.2. Исследование функциональной надежности
восстанавливающих органов, выполненных в виде многослойных
нейронных сетей.................................................................................... 375
15.3. Исследование функциональной надежности многослойных
нейронных сетей.................................................................................... 378
15.4. Исследование параметрической надежности нейронных
сетей....................................................................................................... 380
15.5. Исследование функциональной надежности многослойных
нейронных сетей при наличии катастрофических отказов................. 390
Глава 16. Диагностика нейронных сетей................................................... 395
16.1. Граф состояний нейронной сети. Основные понятия
и определения ....................................................................................... 397
16.2. Алгоритм локализации отказов в нейронных сетях ................... 398
16.3. Алгоритм построения минимального теста для отказов
типа логических констант на выходах нейронов ................................. 409
16.4. Метод адаптивной диагностики отказов в нейронных сетях ..... 411
Раздел 5. Резюме....................................................................................... 420
Глава 17. Методика решения задач в нейросетевам
логическом базисе....................................................................................... 420
17.1. Нейроматематика – новый перспективный раздел
вычислительной математики ............................................................... 420
495
Стр.495
17.2. Теория нейронных сетей – логический базис разработки
нейросетевых алгоритмов решения задач .......................................... 423
17.3. Выбор задач, адекватных сетевому логическому базису .......... 424
17.4. Общая структура пакета программ решения задач
в нейросетевом логическом базисе...................................................... 430
17.5. Многослойные нейронные сети с переменной структурой ........ 432
17.6. Нейронная сеть с фиксированной структурой............................ 437
17.6.1. Формирование входного сигнала нейронной сети............. 437
17.6.2. Формирование выходного сигнала многослойной
нейронной сети................................................................................. 441
17.6.3. Формирование критериев первичной оптимизации........... 441
17.6.4. Выбор структуры разомкнутой нейронной сети ................. 442
17.6.5. Примечания к выбору структуры разомкнутой
нейронной сети в соответствии с классом решаемых задач ........ 443
17.6.6. Примечания к выбору функции активации ......................... 445
17.6.7. Выбор структуры многослойных нейронных сетей
в соответствии с технологией аппаратной реализации ................ 445
17.6.8. Формирование функционала вторичной оптимизации
в многослойных нейронных сетях................................................... 447
17.6.9. Формирование алгоритма поиска экстремума
функционала вторичной оптимизации............................................ 447
17.6.10. Формирование алгоритмов адаптации в многослойных
нейронных сетях............................................................................... 452
17.7. Верификация настроенной многослойной нейронной сети....... 453
17.8. Разработка плана экспериментов ............................................... 454
17.9. О важности проблемы унификации обозначений в процессе
синтеза алгоритмов настройки нейронных сетей................................ 456
17.10. О мифах на пути теории нейронных сетей ............................... 456
17.11. Заключение ................................................................................. 457
Общее заключение...................................................................................... 467
Приложение. Научные работы – основа данной монографии ................. 469
496
Стр.496