Этапы исследования данных с помощью методов Data Mining71 10.2.2. <...> Кроме тог, предлагается дополнительно использовать подключаемый модуль StatPlus. <...> Под измерением понимается присвоение символов образцам в соответствии с некоторым правилом. <...> В задании обработки указываются размеры ТЭД, место хранения данных, типы признаков в ТЭД, тип решаемой задачи, режим печати результатов и пр. <...> Содержательная постановка задачи: найти небольшое число наиболее важных свойств (характеристик, особенностей) исследуемого явления. <...> Содержательная постановка: среди множества исследуемых объектов найти группы с похожими свойствами. <...> Содержательная постановка: описать взаимосвязь (зависимость) избранного свойства исследуемых объектов от остальных свойств. <...> Функциональная постановка: найти функциональную зависимость, приближенно описывающую изменение целевого признака при изменении других признаков (рис. <...> Содержательная постановка: найти правило, пользуясь которым можно определить принадлежность любого объекта к одному из выданных образов (классов объекта). <...> Функциональная постановка: найти в пространстве описания область, разделяющую группу точек, соответствующих различным образам, и описать ее как функцию исходных признаков; найти к какой группе точек (образу) относятся заданные объекты (рис. <...> Измерение - присвоение символов образцам в соответствии с некоторым правилом Нуль-пункт произвольное начало отсчета в интервальной шкале. <...> РАСПРЕДЕЛЕНИЕ ВЕРОЯТНОСТЕЙ В данной главе рассматриваются распределения вероятностей, которые образуют основу для понимания и интерпретации статистических данных. <...> Исход этого явления нельзя спрогнозировать точно, но это вовсе не значит, что нам ничего не известно о характеристиках данного явления. <...> Подбрасывание монеты является классическим примером случайного явления (random phenomenon), в котором нельзя точно определить отдельные исходы, но суммарный исход имеет определенную закономерность <...>
Конспект_лекций_по_учебной_дисциплине_«Анализ_данных»_.pdf
УДК 004.02:004.6
Салмин А.А.
Анализ данных. Конспект лекций. – Самара.: ПГУТИ, 2013. - 72 с.
Рассматриваются вопросы анализа данных. Приводятся некоторые из
основополагающих методик анализа данных, такие как: регрессионный анализ,
корреляция, дисперсионный анализ и др. Отражены вопросы
интеллектуального анализа данных, с помощью которого можно выявить ранее
неизвестные, нетривиальные закономерности в данных.
Рецензент:
Тарасов В.Н. – д.т.н., профессор, зав. кафедрой «Программного обеспечения
и управления в технических системах» ПГУТИ
Федеральное государственное образовательное бюджетное учреждение
высшего профессионального образования
«Поволжский государственный университет телекоммуникаций и
информатики»
© Салмин А.А., 2013
3
Стр.2
Содержание конспекта лекций
ВВЕДЕНИЕ
1. ВВЕДЕНИЕ В «АНАЛИЗ ДАННЫХ»
1.1. Работа с данными
1.2. Этапы решения задачи анализа данных и их взаимосвязи
2. РАСПРЕДЕЛЕНИЕ ВЕРОЯТНОСТЕЙ
2.1. Вероятность
2.2. Распределения вероятностей
2.3. Случайные переменные и случайные выборки данных
2.4. Нормальное распределение
2.5. Формула Байеса
3. СТАТИСТИКА ВЫВОДОВ
3.1. Доверительные интервалы
3.2. Проверка гипотез
3.2.1. Типы ошибок
3.2.2. Области принятия и непринятия
3.2.3. t-распределение
3.3. Применение непараметрического теста для парных данных
4. АНАЛИЗ ТАБЛИЧНЫХ ДАННЫХ
4.1. Сводные таблицы
4.2. Вычисление ожидаемого количества
наблюдений
4.3. Статистика хи-квадрат Пирсона
5. ОСНОВЫ РЕГРЕССИОННОГО АНАЛИЗА
5.1. Понятие «регрессия»
5.2. Простая линейная взаимосвязь
5.2.1. Уравнение регрессии
5.2.2. Подгонка линии регрессии
5.2.3. Интерпретация параметров регрессии
5.3. Проверка модели регрессии
6. КОРРЕЛЯЦИЯ
6.1. Понятие «корреляции»
6.2. Матрица корреляции
6.3. Матрица точечных диаграмм корреляций
7. АППАРАТ МНОЖЕСТВЕННОЙ РЕГРЕССИИ
7.1. Уравнение множественной регрессии
7.2. Проверка допущений регрессии
7.3. Пошаговая регрессия
7.4. Логистическая регрессия
7.5. Нелинейная регрессия
8. ДИСПЕРСИОННЫЙ АНАЛИЗ
8.1. Однофакторный дисперсионный анализ
8.2. Однофакторный дисперсионный анализ и анализ регрессии
6
7
7
8
14
14
15
17
17
18
21
21
22
23
23
24
26
29
29
31
32
34
34
34
34
36
38
39
42
42
43
44
46
46
48
50
50
51
52
52
56
4
Стр.3
8.2. Двухфакторный дисперсионный анализ
9. КОГНИТИВНЫЙ АНАЛИЗ. ГРАФЫ
9.1. Когнитивный анализ
9.2. Методика когнитивного анализа сложных ситуаций
9.3. Регрессионно - когнитивный анализ
10. ИНТЕЛЛЕКТУАЛЬНЫЙ АНАЛИЗ ДАННЫХ
10.1. Системы аналитической обработки данных
10.1.1. CRM – технология
10.1.2. ERP – системы
10.1.3. OLAP – технология
10.2. Интеллектуальный анализ данных (Data Mining)
57
61
61
62
63
66
66
66
68
68
69
10.2.1. Этапы исследования данных с помощью методов Data Mining70
10.2.2. Типы закономерностей
10.2.3. Методы Data Mining
70
71
5
Стр.4
ВВЕДЕНИЕ
Предлагаемый конспект лекций по дисциплине «Анализ данных»
обеспечивает подготовку студентов к эффективному использованию
современных компьютерных средств анализа данных. Предлагаются основные
темы, посвященные формированию теоретических и практических навыков
работы с пакетами прикладных программ для решения задач анализа и
интерпретации данных для создания прогнозов ситуации и принятия
управленческих решений. В рамках конспекта лекций по дисциплине
рассматриваются различные способы создания, форматирования, описания
базовых принципов работы с таблицами данных с целью их последующего
анализа при помощи статистических и математических методов. Таким
образом, у будущих специалистов осуществляется формирование основ
теоретических знаний и практических навыков работы в области анализа
данных и принятия управленческих решений.
Следует также отметить тот факт, что в качестве программного
обеспечения для усвоения курса предлагается использовать продукт MS Excel,
который располагает достаточными средствами анализа данных, такими как:
пакет анализа, общими статистическими функциями мастера функций и т.д.
Кроме тог, предлагается дополнительно использовать подключаемый модуль
StatPlus.
Дисциплина «Анализ данных» базируется на знании предметов
«Информационные технологии», «Электронные таблицы», «Вероятность и
статистика», изучаемых в образовательных учреждениях высшего образования.
Элементы курса «Анализ данных» используются при изучении курсов
«Моделирование систем», «Проектирование информационных систем»,
«Надежность информационных систем».
Задача материала данного конспекта лекций в том, чтобы:
- предоставить студентам общие сведения о принципах обработки и
анализа данных с целью получения из них новых сведений;
- показать методы, средства и технологии анализа данных;
- показать на примере регрессионного анализа принцип получения
новых знаний из данных.
Знания и навыки, полученные в результате изучения данной дисциплины,
могут быть применены:
1. при проведении анализа данных с целью получения статистической
информации или прогноза ситуации;
2. для интерпретации полученных результатов в ходе анализа;
3. при формулировании технического задания при создании ИС силами
профессиональных разработчиков.
6
Стр.5