Распознавание образов и машинное обучение. Основные подходы

Стр.2

Стр.3

Стр.4

Стр.5

Стр.6

УДК 004.93(075) ББК 3813я7 M994 Рецензенты: д-р техн. наук, доц. С . Б . П о п о в , д-р техн. наук, проф. В. А . Ф у р с о в Мясников, Владислав Валерьевич M994 Распознавание образов и машинное обучение. Основные подходы: учебное пособие / В.В. Мясников. – Самара: Издательство Самарского университета, 2023. – 196 с. : ил. ISBN 978-5-7883-1929-2 Пособие представляет собой краткое изложение материалов по ключевым разделам современной теории искусственного интеллекта: машинному обучению и распознаванию образов (классификации). Пособие включает, в частности, классификацию задач машинного обучения, описание основных методов ранжирования/упорядочивания объектов и методов распознавания образов (классификации): геометрических, статистических и алгебраических, а также кратких основ теории последовательного анализа и классификации, теории обучения с подкреплением и искусственных нейронных сетей. Предназначено для студентов факультета информатики, обучающихся по направлению подготовки 01.03.02 Прикладная математика и информатика и специальности 10.05.03 Информационная безопасность автоматизированных систем. Подготовлено на кафедре геоинформатики и информационной безопасности. УДК 004.93(075) ББК 3813я7 ISBN 978-5-7883-1929-2 2 © Самарский университет, 2023

Стр.2

ОГЛАВЛЕНИЕ Введение ............................................................................................. 7 1 Методы машинного обучения ..................................................... 8 1.1 Классификация методов машинного обучения .................... 8 1.2 Упорядочивание объектов и теория предпочтений ........... 10 1.2.1 Введение ......................................................................... 10 1.2.2 Постановка задачи ......................................................... 11 1.2.3 Критерии качества ......................................................... 16 1.2.4 Метод парных сравнений (беспризнаковые методы) .................................................................................... 17 1.2.5 Выявление предпочтений (preference elicitation) для объектов, описываемых признаками ............................. 19 1.2.6 Знаковые представления изображений ....................... 21 1.3 Метод реконструкции предпочтений по знаковым представлениям ........................................................................... 22 1.3.1 Общее описание метода ................................................ 22 1.3.2 Репозиторий базисов ..................................................... 27 1.3.3 Репозиторий методов классификации ......................... 28 1.3.4 Особенности использования и обучения классификаторов в задаче реконструкции функции полезности и предпочтения ................................... 29 1.4 Экспериментальные исследования метода реконструкции предпочтений .................................................... 31 1.4.1 Исследование эффективности реконструкции предпочтений на модельных данных ................................... 31 1.4.2 Исследование эффективности реконструкции предпочтений на примере реконструкции цифрового изображения по его разреженному знаковому представлению ........................................................................ 34 1.5 Результаты первого раздела ................................................. 36 2 Распознавание образов. Методы классификации ................. 37 2.1 Формальная постановка задачи распознавания образов ... 37 3

Стр.3

2.2 Математические подходы к построению систем распознавания ................................................................. 38 2.3 Оценка качества классификации на практике. Кросс-валидация .......................................................................... 42 2.3.1 Показатели качества классификаторов ....................... 42 2.3.2 Кросс-валидация и скользящий контроль ................... 45 2.3.3 Выбор модели классификатора .................................... 48 2.4 Обобщающая способность методов распознавания ........... 50 2.5 Результаты второго раздела.................................................. 55 3 Статистические методы классификации ................................ 57 3.1 Качество классификатора ..................................................... 57 3.2 Оптимальные стратегии классификации............................. 59 3.2.1 Классификатор Байеса .................................................. 59 3.2.2 Минимаксный классификатор ..................................... 61 3.2.3 Классификатор Неймана-Пирсона ............................... 62 3.3 Классификаторы, основанные на параметрических и непараметрических оценках плотности вероятности ........... 63 3.3.1 Параметрические методы оценки плотности вероятности .......................................................... 65 3.3.2 Непараметрические методы оценки плотности вероятности .......................................................... 68 3.4 Результаты третьего раздела ................................................ 76 4 Последовательные методы классификации ........................... 77 4.1 Основные понятия последовательного анализа ................. 77 4.2 Последовательный критерий отношения вероятностей Вальда ................................................................... 78 4.3 Модифицированный последовательный критерий отношения вероятностей ............................................................ 81 4.3.1 Постановка задачи модифицированного п.к.о.в. ........ 82 4.3.2 Важный частный случай ............................................... 83 4.3.3 Среднее число наблюдений и вероятности ошибочной классификации в модифицированном п.к.о.в. ..................... 83 4.3.4 Связь п.к.о.в. и модифицированного п.к.о.в. .............. 84 4

Стр.4

4.3.5 Выводы для п.к.о.в. ....................................................... 84 4.4 Обобщенные п.к.о.в. для случая более двух классов ......... 85 4.4.1 Обобщенный п.к.о.в. ..................................................... 85 4.4.2 Обобщенный модифицированный п.к.о.в. .................. 86 4.5 Байесовская последовательная решающая процедура ....... 87 4.5.1 Постановка задачи ......................................................... 87 4.5.2 Обратная процедура конечного последовательного распознавания........................................ 90 4.6 Результаты четвертого раздела ............................................ 94 5 Алгебраические методы распознавания ................................. 95 5.1 Класс алгоритмов вычисления оценок ................................ 95 5.2 Алгебраическая теория алгоритмов распознавания ......... 104 5.2.1 Постановка задачи и основные определения ............ 105 5.2.2. Алгебра над множеством распознающих операторов и некорректных алгоритмов ............................ 111 5.3 Результаты пятого раздела ................................................. 113 6 Методы совместной классификации ..................................... 115 6.1 Совместная классификация и основные стратегии .......... 115 6.2. Параллельная схема совместной классификации с минимальной информацией о решениях экспертов ............ 119 6.2.1 Формальная постановка задачи ................................. 120 6.2.2 Байесовская процедура совместной классификации ...................................................................... 120 6.2.3 Совместная классификация при независимых экспертах ............................................................................... 123 6.3 Двухэтапная последовательная процедура совместной классификации ........................................................................... 128 6.3.1 Структура двухэтапной последовательной процедуры совместной классификации ............................. 128 6.3.2 Параметрическая оптимизация двухэтапной последовательной процедуры совместной классификации ...................................................................... 132 6.3.3 Результаты экспериментальных исследований ........ 140 5

Стр.5

6.4 Бустинг как метод построения алгоритма совместной классификации ...................................................... 144 6.4.1 Постановка задачи ....................................................... 144 6.4.2 Алгоритм AdaBoost ..................................................... 145 6.5 Способы обучения алгоритмов композиции .................... 149 6.6 Результаты шестого раздела ............................................... 150 7 Обучение с подкреплением ...................................................... 153 7.1 Постановка задачи ............................................................... 153 7.2 Метод Q-learning и его модификации ................................ 158 7.2.1 Метод Q-learning ......................................................... 158 7.2.2 Модификация метода: DQN ....................................... 162 7.2.3 Двойное Q-обучение ................................................... 163 7.2.4 TD-обучение ................................................................ 164 7.3 Алгоритм REINFORCE ....................................................... 165 7.4 Метод Actor-Critic ............................................................... 169 7.4.1 Обоснование использования опорного значения ..... 170 7.4.2 Алгоритм Q-Actor-Critic ............................................. 172 7.4.3 Алгоритм Advantage Actor-Critic (A2C) .................... 173 7.4.4 Алгоритм Asynchronous Advantage Actor-Critic (A3C) ................................................................. 175 7.5 Результаты седьмого раздела ............................................. 175 8 Искусственные нейронные сети. Краткое введение ........... 177 8.1 Стандартный формальный нейрон .................................... 177 8.2 Архитектуры ИНС ............................................................... 179 8.3 Обучения ИНС. Алгоритм обратного распространения ошибки ........................................................................................ 182 8.4 Результаты восьмого раздела ............................................. 184 Заключение .................................................................................... 185 Библиографический список ....................................................... 186 6

Стр.6