Выявление инцидентов информационной безопасности и мошеннических транзакций методами машинного обучения (174,00 руб.)

Стр.3

Стр.4

Стр.5

Стр.6

Содержание УДК 004.056.5(075.8) ББК 32.97я73 Ц349 Печатается по решению кафедры информационно-аналитических систем безопасности Института компьютерных технологий и информационной безопасности Южного федерального университета (протокол № 9 от 25 мая 2023 г.) Рецензенты: доктор технических наук, профессор, заведующий кафедрой информатики Таганрогского института имени А. П. Чехова (филиал) РГЭУ (РИНХ) Я. Е. Ромм доктор технических наук, профессор, профессор кафедры информационно-аналитических систем безопасности Южного федерального университета А. В. Боженюк Целых, А. Н. Ц349 Выявление инцидентов информационной безопасности и мошеннических транзакций методами машинного обучения : учебное пособие / А. Н. Целых, Э. М. Котов ; Южный федеральный университет. − Ростов-на-Дону ; Таганрог : Издательство Южного федерального университета, 2023. − 116 с. ISBN 978-5-9275-4515-5 Пособие посвящено рассмотрению подходов по применению методов обработки естественного языка sentiment analysis для обнаружения угроз информационной безопасности в сети интернет, а также выявлению мошеннических транзакций с помощью методов машинного обучения. Пособие предназначено для студентов высших учебных заведений, обучающихся по специальности 10.05.04 − Информационно-аналитические системы безопасности (специализация: «Автоматизация информационноаналитической деятельности») по курсу «Математические методы анализа больших данных» и направлению 10.03.01 − Информационная безопасность (направленность: «Информационно-аналитические системы безопасности») по курсу «Модели и методы инженерии знаний». УДК 004.056.5(075.8) ББК 32.97я73 ISBN 978-5-9275-4515-5 © Южный федеральный университет, 2023 © Целых А. Н., Котов Э. М., 2023 © Оформление. Макет. Издательство Южного федерального университета, 2023 2

Стр.3

Содержание СОДЕРЖАНИЕ ВВЕДЕНИЕ ………………………………………………………. 1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ОБРАБОТКИ ЕСТЕСТВЕННОГО ЯЗЫКА ……………………………………... 6 10 1.1. Обработка естественного языка NLP ……………………… 10 1.2. Понятие Sentiment Analysis и подходы к классификации тональности текстов ……………………………………………... 1.3. Этапы процесса анализа текстов …………………………... 1.4. Подходы к классификации тональности текста …………... 1.5. Виды анализа настроений ………………………………….. 1.6. Существующие инструменты для анализа настроений ….. 1.7. Предварительная обработка текста ………………………... 11 14 14 17 19 20 1.8. Общие методы обработки естественного языка, используемые для предварительной обработки текстов ……………… 22 1.9. Применение Brand24 ………………………………………... 30 2. АЛГОРИТМЫ И ИНСТРУМЕНТЫ ОБРАБОТКИ ЕСТЕСТВЕННОГО ЯЗЫКА ……………………. 34 2.1. Сервис Brand24 ……………………………………………… 34 2.2. Kaggle notebook ……………………………………………... 2.3. Библиотека NLTK …………………………………………... 2.4. Датасет Sentiment140 ……………………………………….. 35 36 37 2.5. Инструмент векторизации TfidfVectorizer ………………… 39 2.6. Определение тональности текста с помощью алгоритмов машинного обучения ……………………………………………. 2.7. Метрики для оценки методов машинного обучения ……... 40 44 3. ТЕСТИРОВАНИЕ МЕТОДОВ И АНАЛИЗ РЕЗУЛЬТАТОВ …………………………………….. 4. МЕТОДЫ ОБНАРУЖЕНИЯ МОШЕННИЧЕСКИХ ТРАНЗАКЦИЙ ………………………….. 47 56 3

Стр.4

Содержание 4.1. Проблемы обнаружения мошенничества в финансовой сфере 4.2. Этапы обнаружения мошеннических транзакций методами машинного обучения ……………………………………………... 4.5. Алгоритмы машинного обучения, используемые для обнаружения мошеннических транзакций …………………………... 56 57 4.3. Методы обнаружения мошеннических транзакций ………. 59 4.4. Инструменты обнаружения мошеннических транзакций ... 60 62 4.5.1. Деревья решений ……………………………………………… 62 4.5.2. Random Forest …………………………………………………. 4.5.3. Метод опорных векторов ………………………………….. 63 64 4.5.4. Метод k-ближайших соседей ……………………………… 65 4.5.5. Наивный Байес ………………………………………………... 4.5.6. Adaptive Boosting ……………………………………………... 66 66 4.5.7. CatBoost ………………………………………………………… 67 4.5.8. XGBoost ………………………………………………………… 68 4.5.9. LightGBM ………………………………………………………. 68 4.6. Метрики, используемые для оценки методов машинного обучения ………………………………………………………….. 5. ПРОЕКТИРОВАНИЕ МОДЕЛИ ОБНАРУЖЕНИЯ МОШЕННИЧЕСКИХ ТРАНЗАКЦИЙ ………………………….. 5.1. Описание используемого набора данных …………………. 5.2. Описание используемых библиотек Python ………………. 5.2.1. Библиотека Pandas ………………………………………….. 5.2.2. Библиотека NumPy …………………………………………... 5.2.3. Библиотека Matplotlib ………………………………………. 5.2.4. Библиотека Seaborn …………………………………………. 69 71 71 73 73 73 74 74 5.2.5. Графическая библиотека Plotly …………………………… 75 5.2.6. Библиотека Scikit-learn ……………………………………... 5.3. Описание выбранных методов машинного обучения ……. 5.3.1. Метод Random Forest ……………………………………….. 75 75 75 5.3.2. Метод AdaBoost ……………………………………………… 77 5.3.3. Методы XGBoost, CatBoost и LightGBM ………………… 80 5.4. Обобщение на другие функции потерь ……………………. 82 4

Стр.5

Содержание 6. ПРИМЕР РЕАЛИЗАЦИИ ВЫЯВЛЕНИЯ МОШЕННИЧЕСКИХ ТРАНЗАКЦИЙ ………………………….. 6.1. Предварительный анализ данных ………………………….. 94 94 6.2. Определение параметров прогнозирования и целевых значений ……………………………………………………………… 97 ЗАКЛЮЧЕНИЕ ……………………………………………………. 110 СПИСОК ЛИТЕРАТУРЫ ………………………………………... 112 5

Стр.6