Нейросетевые и гибридные системы (220,00 руб.)

Стр.1

Стр.3

Стр.6

Стр.7

Стр.8

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «ВОРОНЕЖСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ» И.Л. Каширина, Т.В. Азарнова НЕЙРОСЕТЕВЫЕ И ГИБРИДНЫЕ СИСТЕМЫ Учебно-методическое пособие для вузов Воронеж Издательский дом ВГУ 2014

Стр.1

Содержание Введение.................................................................................................................4 § 1. Биологический нейрон и его математическая модель ...............................6 § 2. Нейросети........................................................................................................9 2.1. Классификация и свойства нейросетей ................................................9 2.2. Теорема Колмогорова...........................................................................12 § 3. Персептрон....................................................................................................13 § 4. Процедура обратного распространения.....................................................19 § 5. Нейросетевая классификация образов.......................................................26 5.1. Сеть Кохонена ......................................................................................26 5.2. Нейроны Гроссберга. Выходные и входные звезды ........................28 5.3. Двухслойная сеть встречного распространения................................29 5.4. Самоорганизующиеся карты Кохонена..............................................31 5.5. Вероятностные нейронные сети.........................................................35 § 6. Стохастические сети....................................................................................40 6.1. Обучение Больцмана ...........................................................................41 6.2. Обучение Коши....................................................................................42 § 7. Сети с обратными связями..........................................................................44 7.1. Сеть Хопфилда.....................................................................................44 7.2. Сеть Хэмминга .....................................................................................49 7.3. Сеть ДАП (двунаправленная ассоциативная память) ......................51 § 8. Сеть АРТ (адаптивная резонансная теория)..............................................54 § 9. Прогнозирование цен на золото с помощью нейронных сетей в пакете STATISTICA 7......................................................................................57 § 10. Гибридные системы...................................................................................63 10.1 Нейро-нечеткие модели......................................................................63 10.2. Вейвлет-сетевые модели ...................................................................66 ПРИЛОЖЕНИЕ...................................................................................................67 Программная реализация персептрона.............................................................67 Программная реализация сети Хэмминга ........................................................72 ТЕСТ по курсу «Нейросетевые технологии»...................................................75

Стр.3

описании предметной области в виде набора правил (аксиом) «если ..., то ...» и правил вывода. Искомое знание представляется в этом случае теоремой, истинность которой доказывается посредством построения цепочки вывода. При этом подходе, однако, необходимо заранее знать весь набор закономерностей, описывающих предметную область. При использовании другого подхода, основанного на примерах (case-based), надо лишь иметь достаточное количество примеров для настройки адаптивной системы с заданной степенью достоверности. Нейронные сети представляют собой классический пример такого подхода. § 1. БИОЛОГИЧЕСКИЙ НЕЙРОН И ЕГО МАТЕМАТИЧЕСКАЯ МОДЕЛЬ Нервная система и мозг человека состоят из нейронов, соединенных между собой нервными волокнами. Нервные волокна способны передавать электрические импульсы между нейронами. Все процессы передачи раздражений от кожи, ушей и глаз к мозгу, процессы мышления и управления действиями – все это реализовано в живом организме как передача электрических импульсов между нейронами. Нейрон (нервная клетка) является особой биологической клеткой, которая обрабатывает информацию (рис. 1). Он состоит из тела, или сомы, и отростков нервных волокон двух типов – дендритов, по которым принимаются импульсы, и единственного аксона, по которому нейрон может передавать импульс. Тело нейрона включает ядро, которое содержит информацию о наследственных свойствах, и плазму, обладающую молекулярными средствами для производства необходимых нейрону материалов. Нейрон получает сигналы (импульсы) от аксонов других нейронов через дендриты (приемники) и передает сигналы, сгенерированные телом клетки, вдоль своего аксона (передатчика), который в конце разветвляется на волокна. На окончаниях этих волокон находятся специальные образования – синапсы, которые влияют на величину импульсов. Рис. 1. Взаимосвязь биологических нейронов 6

Стр.6

нейрон связан с 103–104 другими нейронами. В целом мозг человека содержит приблизительно от 1014 до 1015 взаимосвязей. Искусственный нейрон Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены или заторможены. Он обладает группой синапсов – однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон – выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Общий вид искусственного нейрона приведен на рис. 2. Искусственный нейрон в первом приближении имитирует свойства биологического нейрона. Здесь множество входных сигналов, обозначенных х1,х2, ...,хn, поступает на искусственный нейрон. Эти входные сигналы, в совокупности обозначаемые вектором Х, соответствуют сигналам, приходящим в синапсы биологического нейрона. Каждый синапс характеризуется величиной синапcической связи или ее весом wi . Кора головного мозга человека содержит около 1011 нейронов. Каждый Рис. 2. Модель искусственного нейрона Каждый сигнал умножается на соответствующий вес w1,w2,...,wn, и поступает на суммирующий блок. Каждый вес соответствует "силе" одной биологической синапcической связи. (Множество весов в совокупности обозначаются вектором W). Суммирующий блок, соответствующий телу биологического элемента, складывает взвешенные входы алгебраически, создавая величину S. Таким образом, текущее состояние нейрона определяется, как взвешенная сумма его входов:   n s  i 1 функция его состояния: y = f(s), где f – активационная функция, моделирующая нелинейную передаточную характеристику биологического нейрона и представляющая нейронной сети большие возможности. Примеры некоторых активационных функций представлены в табл. 1 и на рис. 3. Са7 xi wi . Выход нейрона есть 

Стр.7

мыми распространенными являются пороговая и сигмоидальная активационные функции, они наиболее приближены к биологическому аналогу. Пороговая функция ограничивает активность нейрона значениями 0 или 1 в зависимости от величины комбинированного входа s. Как правило, входные значения в этом случае также используются бинарные: хi {0,1}. Чаще всего удобнее вычесть пороговое значение  (называемое смещением) из величины комбинированного входа и рассмотреть пороговую функцию в математически эквивалентной форме: s w  0, s  0; 0 f s  ( )    представить в виде   n s  i 0 Таблица 1 Название Пороговая (функция единичного скачка) Линейная Логистическая (сигмоидальная) Гиперболический тангенс Линейная с насыщением (линейный порог) Функции активации нейронов Формула 0, s f s  s1, ( )    f s )( f s  ( ) f s( )  as e e f s  ks, 0 ( )     0, s     ks 1 1  as   e as e e   ; s 1, s   Логистическая функция, или сигмоид, f (s) = 1 / (1+e-as) непрерывно заполняет своими значениями диапазон от 0 до 1. При уменьшении а сигмоид становится более пологим, в пределе при а = 0, вырождаясь в горизонтальную линию на уровне 0.5, при увеличении а сигмоид приближается к виду функции единичного скачка с порогом 0. Следует отметить, что сигмоидальная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того, она обладает свойством усиливать слабые сигналы и предотвращает насыщение от больших сигна8 as as      ; Область значений {0,1} ( ; (0,1) (–1,1) (0,1) ) xi wi , где 0x всегда считается равным 1.  1, s  0 . Здесь w0    – величина смещения, взятая с противоположным знаком. Cмещение обычно интерпретируется как связь, исходящая от элемента, значение которого всегда равно 1. Комбинированный вход тогда можно   n xi wi ,  i 1

Стр.8