Национальный цифровой ресурс Руконт - межотраслевая электронная библиотека (ЭБС) на базе технологии Контекстум (всего произведений: 637474)
Контекстум
Электро-2024
Системы анализа и обработки данных  / №3 2014

Пределы памяти рекуррентных нейронных сетей со стиранием устаревшей информации (150,00 руб.)

0   0
Первый авторОсипов
Страниц8
ID411012
АннотацияИсследуются возможности рекуррентных нейронных сетей с управляемыми синапсами со стиранием устаревшей информации. Решается задача оценки емкости памяти этих сетей. Отмечается, что для ее решения из-за специфики правил запоминания информации известные методы не пригодны. Они не ориентированы на оценку запоминания длинных последовательностей совокупностей единичных образов. В них не принимается во внимание предельный суммарный вес синапсов, активно используемых в качестве элементов памяти, не учитывается зависимость емкости памяти от функций ослабления сигналов в сети. Рассматривается новый метод оценки емкости памяти рекуррентных нейронных сетей, обрабатывающих информацию в реальном масштабе времени. Приводится спиральная структура сети на уровне нейросетевых каналов. Получено аналитическое выражение, связывающее емкость памяти таких сетей с их параметрами. В качестве этих параметров выступают число нейронов и предельно достижимый суммарный вес синапсов сети, средние значения функций ослабления расходящихся и сходящихся в сети единичных образов и другие. Показано, что предельные оценки емкости памяти рекуррентных нейронных сетей выше, чем считалось ранее. На один синапс может приходиться больше двух бит информации. Сформулированы рекомендации по совершенствованию рекуррентных нейронных сетей. В качестве элементов долговременной памяти предлагается использовать только те синапсы, которые связывают нейроны, обеспечивающие встречное продвижение единичных образов в сети.
УДК004.8
Осипов, В.Ю. Пределы памяти рекуррентных нейронных сетей со стиранием устаревшей информации / В.Ю. Осипов // Системы анализа и обработки данных .— 2014 .— №3 .— С. 109-116 .— URL: https://rucont.ru/efd/411012 (дата обращения: 04.06.2024)

Предпросмотр (выдержки из произведения)

115–122 СОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ УДК 004.8 Пределы памяти рекуррентных нейронных сетей со стиранием устаревшей информации* В.Ю. ОСИПОВ 199178, РФ, г. Санкт-Петербург, 14 линия В. <...> О., 39, Санкт-Петербургский институт информатики и автоматизации Российской академии наук, д. т. н., профессор, e-mail: osipov_vasiliy@mail.ru Исследуются возможности рекуррентных нейронных сетей с управляемыми синапсами со стиранием устаревшей информации. <...> Решается задача оценки емкости памяти этих сетей. <...> Отмечается, что для ее решения из-за специфики правил запоминания информации известные методы не пригодны. <...> Они не ориентированы на оценку запоминания длинных последовательностей совокупностей единичных образов. <...> В них не принимается во внимание предельный суммарный вес синапсов, активно используемых в качестве элементов памяти, не учитывается зависимость емкости памяти от функций ослабления сигналов в сети. <...> Приводится спиральная структура сети на уровне нейросетевых каналов. <...> Получено аналитическое выражение, связывающее емкость памяти таких сетей с их параметрами. <...> В качестве этих параметров выступают число нейронов и предельно достижимый суммарный вес синапсов сети, средние значения функций ослабления расходящихся и сходящихся в сети единичных образов и другие. <...> Показано, что предельные оценки емкости памяти рекуррентных нейронных сетей выше, чем считалось ранее. <...> На один синапс может приходиться больше двух бит информации. <...> В качестве элементов долговременной памяти предлагается использовать только те синапсы, которые связывают нейроны, обеспечивающие встречное продвижение единичных образов в сети. <...> Ключевые слова: рекуррентная нейронная сеть, структура, синапсы, ослабление, емкость, память, стирание, устаревание, информация, метод ВВЕДЕНИЕ Одним из перспективных направлений в области искусственного интеллекта выступает развитие рекуррентных нейронных сетей (РНС) и создание на их основе прикладных систем с широкими <...>