Информационные системы и технологии
МАТЕМАТИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ
ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ И АВТОМАТИЗИРОВАННЫХ СИСТЕМ
УДК 004.8
И.П. ДОБРОДЕЕВ, И.Н. ПАЛАМАРЬ
САМООРГАНИЗАЦИЯ НЕЙРОННЫХ СЕТЕЙ
МЕТОДОМ СЕЛЕКЦИИ
Формулируется проблема выбора структуры нейронных сетей и
рассматриваются существующие варианты её решения. Предлагается подход к выбору
оптимальной структуры НС методом селекции на основе метода группового учёта
аргументов и алгоритм его реализации. Проведено тестирование алгоритма на примере
получения исходного описания модели газотурбинного двигателя по экспериментальным
данным.
Ключевые слова: нейронные сети; самоорганизация; обучение; метод группового
учёта аргументов.
Issue of neural networks choice is formed and current methods of its resolution are
considered. Method using the group arguments accounting to develop the algorithm of optimum
structure choice for a neural network by selection method is proposed. The numerical tests of
the algorithm executed on the example of obtaining the initial description of the model gas
turbine engine for experimental data.
Keywords: neural network; self-organization; education; group method of data
handling.
ВВЕДЕНИЕ
Искусственные нейронные сети (ИНС, НС) как набор математических
алгоритмов и процедур, моделирующих принципы работы нервной системы человека,
являются средством для универсальной аппроксимации сложных нелинейных
многопараметрических зависимостей. НС решают задачи классификации и
распознавания образов, некоторые виды нейронных сетей применяются для
оптимизации при решении трудных неформализованных задач.
Все нейронные сети составлены из типовых элементов, аналогов биологической
нервной клетки – нейронов. Искусственные нейроны могут различным образом
объединяться в НС. Способ топологической организации нейронов и связей между
ними определяет структуру НС. Функционирование всех нейронных сетей включает в
себя две стадии: обучение и работа. На этапе обучения происходит настройка
внутренних параметров отдельных нейронов и слоёв, а на этапе работы по параметрам
входного сигнала НС выполняется вычисление её выходных сигналов с учётом
настройки, проведённой на этапе обучения НС [1 – 3].
По данным [4] основными недостатками нейронных сетей являются:
- отсутствие строгой теории по выбору структуры НС;
- практическая невозможность извлечения приобретённых знаний из обученной
НС.
Прежде всего, структура НС оказывает влияние, на качество решения задачи, а
также на эффективность процесса обучения НС, поэтому поставлена задача
формирования оптимальной для решаемой задачи структуры НС в процессе обучения.
И хотя при условии правильного решения прикладной задачи обученной
нейросетью вопрос извлечения данных в конечном итоге не представляется таким
существенным, оптимизация структуры позволит приблизиться к решению и второй
проблемы.
№ 3 (59) 2010
5
Стр.1
Научно-технический журнал
ТРАДИЦИОННЫЕ ПОДХОДЫ К ВЫБОРУ СТРУКТУРЫ НС
Предметом исследования является многослойная сеть прямого распространения.
В настоящее время выбор внутренней структуры НС никак не регламентирован, не
существует каких-то общих рекомендаций по тому, как распределить нейроны в слоях
и сколько вообще должно быть слоев, в основном всё зависит от опыта разработчика.
Такой подход связан с временными затратами на поиск не гарантированно оптимальной
структуры.
Теоретически число слоев и число нейронов в каждом слое НС может быть
произвольным, однако фактически эти значения ограничены ресурсами компьютера
или специализированной микросхемы, на которых обычно реализуется НС. Чем
сложнее НС, тем масштабнее решаемые ею задачи. Считается, что выбор структуры НС
разработчиком осуществляется в соответствии с особенностями и сложностью задачи,
при этом разработчику приходится решать многовариантную проблему синтеза новой
конфигурации на основе нескольких основополагающих принципов:
- возможности сети возрастают с увеличением числа ячеек сети, плотности
связей между ними и числом выделенных слоев;
- введение обратных связей (рекурсивные сети) наряду с увеличением
возможностей сети поднимает вопрос о динамической устойчивости сети;
- сложность алгоритмов функционирования сети (в том числе, например,
введение нескольких типов синапсов возбуждающих, тормозящих и др.) также
способствует усилению мощи НС;
- скорость выполнения расчётов уменьшается с увеличением размера НС;
- время обучения также возрастает при увеличении размеров НС.
Основным способом выбора остается прямой перебор различного количества
слоев и определение лучшего. Для этого требуется каждый раз заново создавать сеть.
Информация, накопленная в предыдущих сеансах обучения, теряется полностью.
Начинать перебор можно как с заведомо избыточного, так и с недостаточного
количества нейронов. Независимо от этого, новая созданная сеть с другим количеством
нейронов требует полного переобучения.
Рекомендации в литературе обычно ограничиваются выбором числа нейронов в
одном скрытом слое. При ответе на вопрос, сколько нейронов нужно использовать,
существует две противоположные точки зрения. Одна из них утверждает, что чем
больше нейронов в сети, тем более надежная сеть получится. Сторонники этой позиции
ссылаются на пример человеческого мозга. Чем больше нейронов, тем больше число
связей между ними и тем более сложные задачи способна решить нейронная сеть.
Кроме того, если использовать заведомо большее число нейронов, чем необходимо для
решения задачи, то нейронная сеть точно обучится. Если же начинать с небольшого
числа нейронов, то сеть может оказаться неспособной обучиться решению задачи, и
весь процесс придется повторять сначала с большим числом нейронов.
Вторая точка зрения опирается на следующее «эмпирическое» правило: чем
больше подгоночных параметров, тем хуже аппроксимация функции в тех областях, где
ее значения были заранее неизвестны. С математической точки зрения задачи обучения
нейронных сетей сводятся к продолжению функции, заданной в конечном числе точек
на всю область определения. При таком подходе входные данные сети считаются
аргументами функции, а ответ сети – значением функции. Второй подход определяет
нужное число нейронов как минимально необходимое. Основным недостатком является
то, что это минимально необходимое число заранее неизвестно, а процедура его
определения путем постепенного наращивания числа нейронов весьма трудоемка.
6
№ 3 (59) 2010
Стр.2
Информационные системы и технологии
Известен вариант использования динамического добавления нейронов в слой в
процессе обучения НС [5]. Динамическое добавление нейронов состоит во включении
нейронов в действующую сеть без утраты ее параметров и частично сохраняет
результаты, полученные в предыдущем обучении. Сеть начинает обучение с
количеством нейронов заведомо недостаточным для решения задачи. Для обучения
используются обычные методы. Обучение происходит до тех пор, пока ошибка не
перестанет убывать и не выполнится условие:
E t E t( − < ∆T ,
δ)
( )−
E t( )
0
t ≥ + δ
t0
где t – время обучения;
∆T – пороговое значение убыли ошибки;
δ – минимальный интервал времени обучения между добавлениями новых
нейронов;
t0 – момент последнего добавления.
Когда выполняются оба условия в (1), тогда в сеть добавляется новый нейрон.
Веса и порог нейрона инициализируются небольшими случайными числами. Обучение
снова повторяется до тех пор, пока не будут выполнены условия. Зависимость ошибки от
времени обучения приведена на рисунке 1.
Моменты добавления новых
Рисунок 1 – График изменения ошибки
от времени обучения при динамическом
добавлении нейронов
нейронов отмечены пунктиром. После
каждого добавления ошибка сначала
резко возрастает, т. к. параметры
нейрона случайны, а затем сходится к
меньшему значению. Информация,
накопленная в сети, не теряется
полностью при добавлении нейрона со
случайными параметрами. Зависимость,
показанная на рисунке 1, однако, не
всегда имеет место.
Сеть с минимальным числом нейронов должна лучше («правильнее», более
гладко) аппроксимировать функцию, но выяснение этого минимального числа
нейронов требует больших интеллектуальных затрат и экспериментов по обучению
сетей. Если число нейронов избыточно, то можно получить результат с первой
попытки, но существует риск построить «плохую» аппроксимацию.
Существует более надежный способ оценки минимального числа нейронов –
использование процедуры контрастирования [6]. Она позволяет ответить и на второй
вопрос: какова должна быть структура сети. Процедура контрастирования основана на
оценке значимости весов связей в обученной сети. Впервые процедура
контрастирования нейронных сетей на основе показателей чувствительности описана
одновременно в [6] и (существенно более частный вариант) в [7]. В [6] указаны
основные цели контрастирования: упростить техническую реализацию сети и сделать
более понятным знание, полученное сетью в ходе обучения. Процедура заключается в
оценке показателей чувствительности к замене одного весового коэффициента другим.
Возможно использование различных обобщений этой процедуры. Например,
контрастировать за один шаг процедуры не один вес, а заданное пользователем число
весов. Наиболее радикальная процедура состоит в контрастировании половины весов
№ 3 (59) 2010
7
(1)
Стр.3
Научно-технический журнал
связей. Если половину весов отконтрастировать не удается, то пытаемся
отконтрастировать четверть и т. д.
Нейронные сети, которые решают задачу понятным для нас способом, для
которого легко сформулировать словесное описание в виде явного алгоритма принято
называть логически прозрачными.
Из всех описанных способов формирования структуры нейронной сети только
процедура контрастирования приближает структуру НС к логически прозрачным сетям.
Однако её главный недостаток состоит в том, что контрастирование производится с уже
обученной нейронной сетью, соответственно, начальные настройки НС разработчик
должен задавать, ориентируясь на свой собственный опыт. При этом начальная
структура может быть неоптимальной, соответственно, НС будет обучена
неоптимально и контрастирование приведёт только к упрощению структуры
неоптимальной НС. Алгоритмы и технология динамического добавления нейронов не
указывают, сколько должно быть нейронов в сети, сколько должно быть слоев, какое
должно быть начальное количество нейронов и слоёв, и как это увязано с числом
входных и выходных сигналов сети, общей структурой нейронной сети.
НОВЫЕ ПОДХОДЫ К ВЫБОРУ СТРУКТУРЫ НЕЙРОННЫХ СЕТЕЙ
Наиболее перспективным вариантом решения вопросов выбора структуры НС
является возможность использования методов самоорганизации, которые так же, как и
саму идею НС можно позаимствовать у природы и биологии. Основная цель
самоорганизации НС в том, чтобы найти оптимальную для решения конкретной задачи
структуры НС, отвечающую определённым заранее заданным условиям и критериям.
В основе новых автоматических методов настройки НС могут быть предложены
два основных варианта самоорганизации их структуры: селекция и деление. Оба
варианта реализуют принципы, заложенные природой в живые организмы, но при этом
различны по своей реализации.
В сущность селекции входит отбор лучших по определённым признакам
представителей и отсев худших. Гипотеза селекции утверждает, что алгоритм массовой
селекции растений или животных является оптимальным алгоритмом переработки
информации в сложных системах. Селекция наилучшим образом подходит для тех
случаев, когда есть понятные цели и известен объективный критерий или способ
достижения этих целей. Таким образом, для аппроксимирующих НС, в которых заранее
известен требуемый результат, целесообразно применить для самоорганизации
механизмы селекции.
В сущность деления входит развитие, реализуемое в организмах на клеточном
уровне, когда клетка делится на части, каждая из которых имеет некоторые свойства
изначального целого. Механизмы деления могут применяться для классифицирующих
НС, когда классификация может происходить только по наборам входных данных.
Основу механизма деления должно составлять конкурирующее обучение, когда право
передать свои свойства и качества, прежде всего, получают клетки максимально
адаптированные к входной информации. Процесс деления других клеток в НС также
будет регламентирован степенью их адаптации. Процесс деления предусматривает
также передачу наследственной информации, при этом здесь, как и в генетических
алгоритмах будет иметь место определенная изменчивость или мутация свойств клетки
при передаче информации от «родителя» к «потомкам».
В основе разрабатываемого подхода к самоорганизации структуры
многослойных нейронных сетей прямого распространения используется теория
самоорганизации моделей на основе механизма селекции.
8
№ 3 (59) 2010
Стр.4