УДК 332.14
ББК 65.054
X15
Рон Хайндман и Джордж Атанасопулос
X15 Прогнозирование: принципы и практика / пер. с англ. А. В. Логунова. – М.:
ДМК Пресс, 2023. – 458 с.: ил.
ISBN 978-5-93700-151-1
Данная книга представляет собой всестороннее введение в методы прогнозирования
и содержит достаточно информации о каждом из них, помогая
читателям разумно их использовать. Примеры с многочисленными наборами
данных на языке R авторы заимствовали из собственного опыта консультирования.
В конце глав приводятся упражнения по пройденной теме.
Издание адресовано специалистам, занимающимся прогнозированием в бизнесе,
науке, на производстве, а также может быть полезно студентам и преподавателям.
УДК
332.14
ББК 65.054
Copyright Forecasting: Principles and Practice, ISBN 9780987507136, published by OTexts.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой
бы то ни было форме и какими бы то ни было средствами без письменного разрешения
владельцев авторских прав.
ISBN (анг.) 978-0-98750-713-6
ISBN (рус.) 978-5-93700-151-1
Copyright © 2020 by Rob J Hyndman and George Athanasopoulos
© Оформление, издание, перевод, ДМК Пресс, 2023
Стр.5
Оглавление
Предисловие от издательства ..............................................................................16
Об авторах .............................................................................................................17
Предисловие ..........................................................................................................18
Глава 1. Приступая к работе ............................................................ 21
1.1 Что можно прогнозировать? ......................................................................22
1.2 Прогнозирование, цели и планирование ..................................................23
Прогнозирование .........................................................................................24
Цели ...............................................................................................................24
Планирование ...............................................................................................24
Краткосрочные прогнозы ............................................................................24
Среднесрочные прогнозы ............................................................................24
Долгосрочные прогнозы ..............................................................................24
1.3 Определение того, что следует прогнозировать.......................................24
1.4 Данные и методы прогнозирования .........................................................25
Прогнозирование временных рядов ...........................................................26
Индикаторные переменные и прогнозирование временных рядов ........27
1.5 Несколько тематических исследований ....................................................28
Случай 1 .........................................................................................................28
Случай 2 .........................................................................................................29
Случай 3 .........................................................................................................29
Случай 4 .........................................................................................................30
1.6 Базовые шаги в задаче прогнозирования .................................................30
Шаг 1: определение задачи ..........................................................................30
Шаг 2: сбор информации .............................................................................30
Шаг 3: предварительный (разведывательный) анализ ..............................30
Шаг 4: выбор и подгонка моделей ...............................................................31
Шаг 5: использование и оценивание модели прогнозирования ..............31
1.7 Перспектива статистического прогнозирования .....................................31
1.8 Упражнения .................................................................................................33
1.9 Дальнейшее чтение ....................................................................................34
Библиография ...................................................................................................34
Глава 2. Графика временных рядов ............................................... 35
2.1 Объекты twibble ..........................................................................................35
Переменная-индекс .....................................................................................35
Переменные-ключи .....................................................................................37
Работа с объектами twibble ..........................................................................38
Прочитать csv-файл и конвертировать его в twibble .................................41
Сезонный период .........................................................................................42
2.2 Графики времени ........................................................................................43
Стр.6
6 Оглавление
2.3 Закономерности временных рядов ...........................................................45
Тренд .............................................................................................................45
Сезонный ......................................................................................................45
Циклический .................................................................................................46
2.4 Сезонные графики ......................................................................................47
Несколько сезонных периодов ....................................................................48
2.5 Графики сезонных подрядов ......................................................................50
Пример: туристический отдых в Австралии...............................................50
2.6 Диаграммы рассеяния ................................................................................54
Корреляция ...................................................................................................56
Матрицы диаграмм рассеяния ....................................................................57
Библиография ...............................................................................................60
2.7 Графики лагов .............................................................................................60
2.8 Автокорреляция ..........................................................................................61
Тренды и сезонность на ACF-графиках ......................................................63
2.9 Белый шум ...................................................................................................63
2.10 Упражнения ...............................................................................................65
2.11 Дальнейшее чтение ..................................................................................67
Библиография ...................................................................................................68
Глава 3. Разложение временных рядов ........................................ 69
3.1 Преобразования и корректировки ............................................................69
Календарные корректировки ......................................................................69
Корректировки по численности населения ................................................70
Корректировки на инфляцию ......................................................................71
Математические преобразования ...............................................................72
Библиография ...............................................................................................74
3.2 Компоненты временных рядов..................................................................75
Пример: занятость в секторе розничной торговли США ...........................75
Сезонно скорректированные данные .........................................................79
3.3 Скользящие средние ...................................................................................80
Сглаживание скользящей средней ..............................................................80
Скользящие средние скользящих средних .................................................83
Оценивание тренда-цикла с сезонными данными ...................................85
Пример: занятость в секторе розничной торговли США ...........................85
Взвешенные скользящие средние ...............................................................86
3.4 Классическое разложение ..........................................................................87
Аддитивное разложение ..............................................................................87
Мультипликативное разложение ................................................................88
Комментарии к классическому разложению .............................................89
3.5 Методы, используемые официальными статистическими агентствами ....89
Метод X-11 ....................................................................................................90
Метод SEATS ..................................................................................................93
Библиография ...............................................................................................94
3.6 STL-разложение ..........................................................................................95
Библиография ...............................................................................................97
3.7 Упражнения .................................................................................................97
Стр.7
Оглавление 7
3.8 Дальнейшее чтение ..................................................................................100
Библиография .................................................................................................100
Глава 4. Признаки временных рядов ..........................................101
4.1 Несколько простых статистик ..................................................................101
4.2 Признаки ACF ............................................................................................102
4.3 Признаки STL ............................................................................................104
4.4 Другие признаки .......................................................................................107
4.5 Разведывательный анализ данных о туризме в Австралии ...................108
Библиография .............................................................................................114
4.6 Упражнения ...............................................................................................114
4.7 Дальнейшее чтение ..................................................................................114
Библиография .................................................................................................114
Глава 5. Инструментарий прогнозиста ........................................115
5.1 Чистый рабочий поток прогнозирования ...............................................115
Подготовка данных (очистка) ....................................................................115
Построение графика данных (визуализация) ..........................................116
Определение модели (формулирование) .................................................116
Тренировка модели (вычисление) ............................................................117
Проверка результативности модели (оценивание) .................................118
Генерирование прогнозов (прогнозирование) ........................................118
5.2 Несколько простых методов прогнозирования ......................................119
Средне-арифметический метод ...............................................................120
Наивный метод ...........................................................................................120
Сезонный наивный метод .........................................................................121
Дрейфовый метод .......................................................................................122
Пример: ежеквартальное производство пива в Австралии .....................123
Пример: ежедневная цена акций Google на момент закрытия
торгового периода ......................................................................................124
5.3 Подогнанные значения и остатки ...........................................................125
Подогнанные значения ..............................................................................125
Остатки ........................................................................................................126
5.4 Диагностика остатков ...............................................................................127
Пример: прогнозирование цен акций Google на момент
закрытия торгового периода .....................................................................128
Тесты портманто на автокорреляцию ......................................................131
5.5 Распределительные прогнозы и предсказательные интервалы ...........133
Прогнозные распределения .......................................................................133
Предсказательные интервалы ...................................................................134
Одношаговые предсказательные интервалы ..........................................135
Многошаговые предсказательные интервалы .........................................135
Эталонные методы .....................................................................................135
Предсказательные интервалы из бутстрапированных остатков ............137
5.6 Прогнозирование с использованием преобразований ..........................142
Предсказательные интервалы с преобразованиями ...............................142
Поправки на смещение ..............................................................................142
Стр.8
8 Оглавление
5.7 Прогнозирование с разложением ............................................................144
Пример: занятость в секторе розничной торговли США .........................145
5.8 Оценивание точности точечного прогноза ............................................147
Тренировочный и тестовый наборы .........................................................147
Функции для взятия подмножеств из временных рядов ........................148
Ошибки прогнозов .....................................................................................149
Ошибки, зависимые от шкалы ..................................................................149
Процентные ошибки ..................................................................................149
Шкалированные ошибки............................................................................150
Примеры .....................................................................................................151
Библиография .............................................................................................154
5.9 Оценивание точности распределительного прогноза ..........................154
Квантильные баллы ....................................................................................154
Балл Винклера .............................................................................................155
Непрерывный рангово-вероятностный балл ..........................................156
Бесшкальные сравнения с использованием баллов навыков .................157
Библиография .............................................................................................158
5.10 Перекрестная валидация временных рядов .........................................158
Пример: точность прогнозного горизонта с помощью
перекрестной валидации ...........................................................................161
5.11 Упражнения .............................................................................................162
5.12 Дальнейшее чтение ................................................................................165
Библиография .................................................................................................165
Глава 6. Прогнозы на основе суждений ......................................166
Библиография .............................................................................................167
6.1 Остерегайтесь ограничений .....................................................................167
Библиография .............................................................................................168
6.2 Ключевые принципы ................................................................................168
Четко и кратко формулировать задачу прогнозирования ......................168
Внедрять систематический подход ...........................................................168
Документировать и обосновывать ............................................................169
Систематически оценивать прогнозы ......................................................169
Сегрегировать прогнозистов и пользователей ........................................169
Пример: схема фармацевтических льгот (PBS) ........................................170
6.3 Дельфийский метод ..................................................................................172
Эксперты и анонимность ...........................................................................173
Постановка задачи прогнозирования в дельфийском методе ................173
Обратная связь............................................................................................174
Итерация .....................................................................................................174
Окончательные прогнозы ..........................................................................174
Ограничения и вариации ...........................................................................174
Куратор ........................................................................................................174
Библиография .............................................................................................175
6.4 Прогнозирование по аналогии ................................................................175
Пример: разработка учебной программы средней школы .....................175
Структурированная аналогия ....................................................................176
Стр.9
Оглавление 9
Библиография .............................................................................................176
6.5 Сценарное прогнозирование ...................................................................177
6.6 Прогнозирование новых продуктов ........................................................177
Композитный прогноз торгового отдела ..................................................177
Мнение руководства ...................................................................................178
Намерения клиентов ..................................................................................178
Библиография .............................................................................................179
6.7 Сужденческие корректировки ................................................................179
Использовать корректировки экономно ..................................................179
Применять структурированный подход ...................................................180
Пример: комитет по прогнозированию туризма (TFC) ...........................180
Библиография .............................................................................................181
6.8 Дальнейшее чтение ..................................................................................182
Библиография .................................................................................................182
Глава 7. Модели регрессии временных рядов ...........................184
7.1 Линейная модель .......................................................................................184
Простая линейная регрессия .....................................................................184
Пример: потребительские расходы в США ...............................................185
Множественная линейная регрессия ........................................................188
Пример: потребительские расходы в США ...............................................188
Допущения ..................................................................................................190
7.2 Оценивание методом наименьших квадратов .......................................191
Пример: потребительские расходы в США ...............................................191
Подогнанные значения ..............................................................................192
Качество подгонки .....................................................................................194
Пример: потребительские расходы в США ...............................................195
Стандартная ошибка регрессии ................................................................195
7.3 Оценивание регрессионной модели ........................................................195
График ACF остатков .................................................................................196
Гистограмма остатков ................................................................................196
Графики остатков в сопоставлении с предсказателями ..........................197
Графики остатков в сопоставлении с подогнанными значениями ........198
Выбросы и влиятельные наблюдения .......................................................199
Мнимая регрессия ......................................................................................200
7.4 Несколько полезных предсказателей ......................................................202
Тренд ...........................................................................................................202
Фиктивные переменные ............................................................................203
Сезонные фиктивные переменные ...........................................................203
Пример: ежеквартальное производство пива в Австралии .....................204
Переменные вмешательства ......................................................................207
Торговые дни ..............................................................................................207
Распределенные лаги .................................................................................208
Пасха ............................................................................................................208
Ряд Фурье ....................................................................................................208
7.5 Отбор предсказателей ..............................................................................209
Скорректированный R2 ............................................................................................................................................210
Стр.10
10 Оглавление
Перекрестная валидация ...........................................................................211
Информационный критерий Акаике ........................................................211
Исправленный информационный критерий Акаике ..............................212
Байесов информационный критерий Шварца .........................................212
Какую меру мы должны использовать? ....................................................212
Пример: потребление в США .....................................................................213
Регрессия наилучшего подмножества ......................................................214
Пошаговая регрессия .................................................................................214
Остерегайтесь статистического вывода после отбора
предсказателей ....................................................................................... 215
Библиография .............................................................................................215
7.6 Прогнозирование с помощью регрессии ................................................215
Антефактумные прогнозы в сопоставлении с постфактумными
прогнозами .................................................................................................215
Пример: ежеквартальное производство пива в Австралии .....................216
Прогнозирование на основе сценариев ....................................................217
Строительство предсказательной регрессионной модели ......................218
Предсказательные интервалы ...................................................................219
7.7 Нелинейная регрессия ..............................................................................221
Прогнозирование с нелинейным трендом ...............................................222
Пример: времена побед в Бостонском марафоне ....................................222
7.8 Корреляция, каузация и прогнозирование .............................................225
Корреляция – это не каузация ...................................................................225
Прогнозирование с использованием коррелированных
предсказателей ...........................................................................................226
Мультиколлинеарность и прогнозирование ............................................226
7.9 Матричная формулировка ........................................................................227
Оценивание методом наименьших квадратов ........................................228
Подогнанные значения и перекрестная валидация ................................228
Прогнозы и предсказательные интервалы ..............................................229
7.10 Упражнения .............................................................................................229
7.11 Дальнейшее чтение .................................................................................232
Библиография .................................................................................................233
Глава 8. Экспоненциальное сглаживание ...................................234
Библиография .............................................................................................234
8.1 Простое экспоненциальное сглаживание ...............................................235
Средневзвешенная форма .........................................................................237
Компонентная форма .................................................................................238
Плоские прогнозы ......................................................................................238
Оптимизация ..............................................................................................239
Пример: экспорт из Алжира ......................................................................239
8.2 Методы с трендом .....................................................................................241
Метод линейного тренда Хольта ...............................................................241
Пример: население Австралии ..................................................................242
Методы демпфируемого тренда ................................................................244
Пример: численность населения Австралии (продолжение) ..................245
Стр.11
Оглавление 11
Пример: используемость интернета .........................................................246
Библиография .............................................................................................248
8.3 Методы с сезонностью ..............................................................................249
Аддитивный метод Хольта–Винтерса ......................................................249
Мультипликативный метод Хольта–Винтерса .........................................250
Пример: внутренние поездки с ночевкой в Австралии ...........................250
Демпфирующий метод Хольта–Винтерса ................................................254
Пример: метод Хольта–Винтерса с ежедневными данными ..................255
Библиография .............................................................................................255
8.4 Таксономия методов экспоненциального сглаживания ........................256
Библиография .............................................................................................257
8.5. Модели пространства состояний инноваций
для экспоненциального сглаживания ...........................................................257
ETS(A,N,N): простое экспоненциальное сглаживание
с аддитивными ошибками .........................................................................258
ETS(M,N,N): простое экспоненциальное сглаживание
с мультипликативными ошибками ...........................................................259
ETS(A,A, N): линейный метод Хольта с аддитивными ошибками ..........260
ETS(M,A, N): линейный метод Хольта с мультипликативными
ошибками ....................................................................................................260
Другие модели ETS .....................................................................................261
8.6 Оценивание и отбор модели ....................................................................261
Оценивание моделей ETS ..........................................................................261
Отбор модели ..............................................................................................262
Пример: гостевые ночи праздичных туристов в Австралии ...................263
Библиография .............................................................................................265
8.7 Прогнозирование с использованием моделей ETS ................................265
Предсказательные интервалы ...................................................................266
Библиография .............................................................................................267
8.8 Упражнения ...............................................................................................268
8.9 Дальнейшее чтение ..................................................................................271
Библиография .................................................................................................271
Глава 9. Модели ARIMA ..................................................................272
9.1 Стационарность и дифференцирование .................................................272
Дифференцирование .................................................................................274
Модель случайного блуждания ..................................................................275
Дифференцирование второго порядка .....................................................276
Сезонное дифференцирование .................................................................276
Тесты на единичные корни ........................................................................279
Библиография .............................................................................................281
9.2 Нотация обратного сдвига .......................................................................281
9.3 Авторегрессионные модели .....................................................................282
9.4 Модели скользящих средних ...................................................................283
9.5 Несезонные модели ARIMA .....................................................................285
Пример: экспорт из Египта ........................................................................286
Стр.12
12 Оглавление
Понимание моделей ARIMA ......................................................................288
Графики ACF и PACF ...................................................................................288
9.6 Оценивание и выбор порядка ..................................................................291
Оценивание максимального правдоподобия...........................................291
Информационные критерии .....................................................................291
9.7 Моделирование ARIMA в fable .................................................................292
Как работает функция ARIMA()?................................................................292
Процедура моделирования ........................................................................294
Пример: экспорт из Центральноафриканской Республики ....................296
Понимание констант в R ............................................................................300
Построение графика характеристических корней ...................................300
Библиография .............................................................................................301
9.8 Прогнозирование ......................................................................................301
Точечные прогнозы ....................................................................................301
Предсказательные интервалы ...................................................................303
Библиография .............................................................................................304
9.9 Сезонные модели ARIMA ..........................................................................304
ACF/PACF .....................................................................................................304
Пример: ежемесячная занятость в сфере досуга
и гостиничного бизнеса в США .................................................................305
Пример: продажа кортикостероидных препаратов в Австралии ...........309
Оценивание на тестовом наборе ...............................................................313
9.10 ARIMA в сопоставлении с ETS ................................................................314
Сравнение ARIMA() и ETS() на несезонных данных ................................316
Сравнение ARIMA() и ETS() на сезонных данных ....................................317
9.11 Упражнения .............................................................................................321
9.12 Дальнейшее чтение ................................................................................325
Библиография .................................................................................................326
Глава 10. Модели на основе динамической регрессии ............ 327
10.1 Оценивание .............................................................................................328
Библиография .............................................................................................329
10.2 Регрессия с ошибками ARIMA с использованием fable ........................329
Пример: личное потребление и доход в США ..........................................330
10.3 Прогнозирование ....................................................................................333
Пример: личное потребление и доход в США ..........................................333
Пример: прогнозирование спроса на электроэнергию ...........................334
10.4 Стохастические и детерминированные тренды ...................................339
Пример: пассажиры воздушного транспорта Австралии ........................339
10.6 Лагированные предсказатели ................................................................344
Пример: телевизионная реклама и страховые котировки ......................345
10.5 Динамическая гармоническая регрессия .............................................342
Пример: расходы австралийцев на питание вне дома ............................343
Библиография .............................................................................................344
10.7 Упражнения .............................................................................................348
10.8 Дальнейшее чтение ................................................................................351
Библиография .................................................................................................351
Стр.13
Оглавление 13
Глава 11. Прогнозирование иерархических
и сгруппированных временных рядов .......................................352
11.1 Иерархические и сгруппированные временные ряды .........................353
Иерархические временные ряды ..............................................................353
Пример: иерархия туризма в Австралии ..................................................354
Сгруппированные временные ряды .........................................................358
Пример: тюремное население Австралии ................................................359
Смешанная иерархическая и групповая структура .................................362
11.2 Одноуровневые подходы ........................................................................364
Подход «снизу вверх» .................................................................................364
Пример: генерирование восходящих прогнозов .....................................364
Рабочий поток прогнозирования агрегационных структур ....................366
Подходы «сверху вниз» ..............................................................................366
Средние исторические пропорции ...........................................................366
Пропорции исторических средних ..........................................................367
Прогнозные пропорции .............................................................................367
Подход «от середины наружу» ...................................................................369
Библиография .............................................................................................369
11.3 Увязывание прогнозов ...........................................................................369
Матричная нотация ....................................................................................369
Отображающие матрицы ...........................................................................370
Увязывание .................................................................................................371
Метод оптимальной увязки MinT ..............................................................372
Библиография .............................................................................................374
11.4 Прогнозирование внутреннего туризма в Австралии .........................374
11.5 Увязанные распределительные прогнозы ............................................377
Библиография .............................................................................................378
11.6 Прогнозирование тюремного населения Австралии ...........................378
Библиография .............................................................................................383
11.7 Упражнения .............................................................................................383
11.8 Дальнейшее чтение ................................................................................384
Библиография .................................................................................................384
Глава 12. Продвинутые методы прогнозирования ...................386
12.1 Сложная сезонность ................................................................................386
STL с несколькими сезонными периодами ..............................................387
Динамическая гармоническая регрессия с несколькими
сезонными периодами ...............................................................................390
Пример: спрос на электроэнергию ...........................................................392
Библиография .............................................................................................395
12.2 Модель Prophet ........................................................................................396
Пример: ежеквартальное производство цемента ....................................396
Пример: получасовой спрос на электроэнергию .....................................398
Библиография .............................................................................................400
12.3 Векторные авторегрессии ......................................................................400
Пример: модель VAR для прогнозирования потребления в США ...........403
Библиография .............................................................................................405
Стр.14
14 Оглавление
12.4 Нейросетевые модели .............................................................................405
Архитектура нейронной сети ....................................................................405
Нейросетевая авторегрессия .....................................................................407
Пример: пятна на Солнце ..........................................................................407
Предсказательные интервалы ...................................................................408
12.5 Бутстрапирование и бутстрап-агрегирование .....................................410
Бутстрапирование временного ряда .........................................................410
Бутстрап-агрегированные прогнозы ........................................................412
Библиография .............................................................................................414
12.6 Упражнения .............................................................................................415
12.7 Дальнейшее чтение ................................................................................415
Библиография .................................................................................................415
Глава 13. Некоторые практические вопросы
прогнозирования ............................................................................ 417
13.1 Еженедельные, ежедневные и субдневные данные .............................417
Еженедельные данные ...............................................................................417
Ежедневные и субдневные данные ...........................................................419
13.2 Временные ряды счетных данных .........................................................420
Пример: продажа фармацевтических препаратов ..................................421
Библиография .............................................................................................423
13.3 Обеспечение того, чтобы прогнозы оставались
в пределах допустимых значений .................................................................424
Положительные прогнозы .........................................................................424
Прогнозы, ограниченные интервалом .....................................................425
13.5 Предсказательные интервалы для агрегатов ........................................431
13.6 Ретрополяция ..........................................................................................432
13.7 Очень длинные и очень короткие временные ряды ............................433
Прогнозирование очень коротких временных рядов ..............................433
Прогнозирование очень длинных временных рядов ..............................435
13.4 Комбинации прогнозов ..........................................................................427
Прогнозные распределения комбинаций ................................................429
Библиография .............................................................................................431
13.8 Прогнозирование на тренировочном и тестовом наборах ..................435
Многошаговые прогнозы на тренировочных данных ............................436
Одношаговые прогнозы на тестовых данных ..........................................437
13.9 Работа с выбросами и пропущенными значениями ............................438
Выбросы ......................................................................................................438
Пропущенные значения ............................................................................441
13.10 Дальнейшее чтение...............................................................................443
Библиография .............................................................................................443
Приложение А. Использование языка R .....................................444
Инсталлирование R и RStudio ....................................................................444
Примеры на R в этой книге ........................................................................444
Начало работы с R.......................................................................................445
Стр.15
Оглавление 15
Приложение B. Для преподавателей ...........................................446
Решения упражнений .................................................................................446
Слайды.........................................................................................................446
Приложение C. Рецензии и отзывы ............................................. 447
Отзывы коллег-преподавателей ................................................................447
Отзывы практикующих специалистов и студентов .................................448
Библиография .................................................................................................450
Стр.16