Национальный цифровой ресурс Руконт - межотраслевая электронная библиотека (ЭБС) на базе технологии Контекстум (всего произведений: 610373)
Контекстум

Прогнозирование: принципы и практика (5000,00 руб.)

0   0
Первый авторХайндман Рон
АвторыАтанасопулос Джордж , Логунов А. В.
ИздательствоМ.: ДМК Пресс
Страниц459
ID882591
АннотацияДанная книга представляет собой всестороннее введение в методы прогнозирования и содержит достаточно информации о каждом из них, помогая читателям разумно их использовать. Примеры с многочисленными наборами данных на языке R авторы заимствовали из собственного опыта консультирования. В конце глав приводятся упражнения по пройденной теме.
Кому рекомендованоИздание адресовано специалистам, занимающимся прогнозированием в бизнесе, науке, на производстве, а также может быть полезно студентам и преподавателям.
ISBN978-5-93700-151-1
УДК332.14
ББК65.054
Хайндман, Р. Прогнозирование: принципы и практика = Forecasting: Principles and Practice : [учебник] / Дж. Атанасопулос; пер. А.В. Логунов; Р. Хайндман .— Москва : ДМК Пресс, 2023 .— 459 с. : ил. — Пер. с англ. — ISBN 978-5-93700-151-1 .— ISBN 978-0-98750-713-6 .— URL: https://rucont.ru/efd/882591 (дата обращения: 05.04.2025)

Предпросмотр (выдержки из произведения)

Прогнозирование_принципы_и_практика.pdf
Стр.5
Стр.6
Стр.7
Стр.8
Стр.9
Стр.10
Стр.11
Стр.12
Стр.13
Стр.14
Стр.15
Стр.16
Прогнозирование_принципы_и_практика.pdf
УДК 332.14 ББК 65.054 X15 Рон Хайндман и Джордж Атанасопулос X15 Прогнозирование: принципы и практика / пер. с англ. А. В. Логунова. – М.: ДМК Пресс, 2023. – 458 с.: ил. ISBN 978-5-93700-151-1 Данная книга представляет собой всестороннее введение в методы прогнозирования и содержит достаточно информации о каждом из них, помогая читателям разумно их использовать. Примеры с многочисленными наборами данных на языке R авторы заимствовали из собственного опыта консультирования. В конце глав приводятся упражнения по пройденной теме. Издание адресовано специалистам, занимающимся прогнозированием в бизнесе, науке, на производстве, а также может быть полезно студентам и преподавателям. УДК 332.14 ББК 65.054 Copyright Forecasting: Principles and Practice, ISBN 9780987507136, published by OTexts. Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. ISBN (анг.) 978-0-98750-713-6 ISBN (рус.) 978-5-93700-151-1 Copyright © 2020 by Rob J Hyndman and George Athanasopoulos © Оформление, издание, перевод, ДМК Пресс, 2023
Стр.5
Оглавление Предисловие от издательства ..............................................................................16 Об авторах .............................................................................................................17 Предисловие ..........................................................................................................18 Глава 1. Приступая к работе ............................................................ 21 1.1 Что можно прогнозировать? ......................................................................22 1.2 Прогнозирование, цели и планирование ..................................................23 Прогнозирование .........................................................................................24 Цели ...............................................................................................................24 Планирование ...............................................................................................24 Краткосрочные прогнозы ............................................................................24 Среднесрочные прогнозы ............................................................................24 Долгосрочные прогнозы ..............................................................................24 1.3 Определение того, что следует прогнозировать.......................................24 1.4 Данные и методы прогнозирования .........................................................25 Прогнозирование временных рядов ...........................................................26 Индикаторные переменные и прогнозирование временных рядов ........27 1.5 Несколько тематических исследований ....................................................28 Случай 1 .........................................................................................................28 Случай 2 .........................................................................................................29 Случай 3 .........................................................................................................29 Случай 4 .........................................................................................................30 1.6 Базовые шаги в задаче прогнозирования .................................................30 Шаг 1: определение задачи ..........................................................................30 Шаг 2: сбор информации .............................................................................30 Шаг 3: предварительный (разведывательный) анализ ..............................30 Шаг 4: выбор и подгонка моделей ...............................................................31 Шаг 5: использование и оценивание модели прогнозирования ..............31 1.7 Перспектива статистического прогнозирования .....................................31 1.8 Упражнения .................................................................................................33 1.9 Дальнейшее чтение ....................................................................................34 Библиография ...................................................................................................34 Глава 2. Графика временных рядов ............................................... 35 2.1 Объекты twibble ..........................................................................................35 Переменная-индекс .....................................................................................35 Переменные-ключи .....................................................................................37 Работа с объектами twibble ..........................................................................38 Прочитать csv-файл и конвертировать его в twibble .................................41 Сезонный период .........................................................................................42 2.2 Графики времени ........................................................................................43
Стр.6
6  Оглавление 2.3 Закономерности временных рядов ...........................................................45 Тренд .............................................................................................................45 Сезонный ......................................................................................................45 Циклический .................................................................................................46 2.4 Сезонные графики ......................................................................................47 Несколько сезонных периодов ....................................................................48 2.5 Графики сезонных подрядов ......................................................................50 Пример: туристический отдых в Австралии...............................................50 2.6 Диаграммы рассеяния ................................................................................54 Корреляция ...................................................................................................56 Матрицы диаграмм рассеяния ....................................................................57 Библиография ...............................................................................................60 2.7 Графики лагов .............................................................................................60 2.8 Автокорреляция ..........................................................................................61 Тренды и сезонность на ACF-графиках ......................................................63 2.9 Белый шум ...................................................................................................63 2.10 Упражнения ...............................................................................................65 2.11 Дальнейшее чтение ..................................................................................67 Библиография ...................................................................................................68 Глава 3. Разложение временных рядов ........................................ 69 3.1 Преобразования и корректировки ............................................................69 Календарные корректировки ......................................................................69 Корректировки по численности населения ................................................70 Корректировки на инфляцию ......................................................................71 Математические преобразования ...............................................................72 Библиография ...............................................................................................74 3.2 Компоненты временных рядов..................................................................75 Пример: занятость в секторе розничной торговли США ...........................75 Сезонно скорректированные данные .........................................................79 3.3 Скользящие средние ...................................................................................80 Сглаживание скользящей средней ..............................................................80 Скользящие средние скользящих средних .................................................83 Оценивание тренда-цикла с сезонными данными ...................................85 Пример: занятость в секторе розничной торговли США ...........................85 Взвешенные скользящие средние ...............................................................86 3.4 Классическое разложение ..........................................................................87 Аддитивное разложение ..............................................................................87 Мультипликативное разложение ................................................................88 Комментарии к классическому разложению .............................................89 3.5 Методы, используемые официальными статистическими агентствами ....89 Метод X-11 ....................................................................................................90 Метод SEATS ..................................................................................................93 Библиография ...............................................................................................94 3.6 STL-разложение ..........................................................................................95 Библиография ...............................................................................................97 3.7 Упражнения .................................................................................................97
Стр.7
Оглавление  7 3.8 Дальнейшее чтение ..................................................................................100 Библиография .................................................................................................100 Глава 4. Признаки временных рядов ..........................................101 4.1 Несколько простых статистик ..................................................................101 4.2 Признаки ACF ............................................................................................102 4.3 Признаки STL ............................................................................................104 4.4 Другие признаки .......................................................................................107 4.5 Разведывательный анализ данных о туризме в Австралии ...................108 Библиография .............................................................................................114 4.6 Упражнения ...............................................................................................114 4.7 Дальнейшее чтение ..................................................................................114 Библиография .................................................................................................114 Глава 5. Инструментарий прогнозиста ........................................115 5.1 Чистый рабочий поток прогнозирования ...............................................115 Подготовка данных (очистка) ....................................................................115 Построение графика данных (визуализация) ..........................................116 Определение модели (формулирование) .................................................116 Тренировка модели (вычисление) ............................................................117 Проверка результативности модели (оценивание) .................................118 Генерирование прогнозов (прогнозирование) ........................................118 5.2 Несколько простых методов прогнозирования ......................................119 Средне-арифметический метод ...............................................................120 Наивный метод ...........................................................................................120 Сезонный наивный метод .........................................................................121 Дрейфовый метод .......................................................................................122 Пример: ежеквартальное производство пива в Австралии .....................123 Пример: ежедневная цена акций Google на момент закрытия торгового периода ......................................................................................124 5.3 Подогнанные значения и остатки ...........................................................125 Подогнанные значения ..............................................................................125 Остатки ........................................................................................................126 5.4 Диагностика остатков ...............................................................................127 Пример: прогнозирование цен акций Google на момент закрытия торгового периода .....................................................................128 Тесты портманто на автокорреляцию ......................................................131 5.5 Распределительные прогнозы и предсказательные интервалы ...........133 Прогнозные распределения .......................................................................133 Предсказательные интервалы ...................................................................134 Одношаговые предсказательные интервалы ..........................................135 Многошаговые предсказательные интервалы .........................................135 Эталонные методы .....................................................................................135 Предсказательные интервалы из бутстрапированных остатков ............137 5.6 Прогнозирование с использованием преобразований ..........................142 Предсказательные интервалы с преобразованиями ...............................142 Поправки на смещение ..............................................................................142
Стр.8
8  Оглавление 5.7 Прогнозирование с разложением ............................................................144 Пример: занятость в секторе розничной торговли США .........................145 5.8 Оценивание точности точечного прогноза ............................................147 Тренировочный и тестовый наборы .........................................................147 Функции для взятия подмножеств из временных рядов ........................148 Ошибки прогнозов .....................................................................................149 Ошибки, зависимые от шкалы ..................................................................149 Процентные ошибки ..................................................................................149 Шкалированные ошибки............................................................................150 Примеры .....................................................................................................151 Библиография .............................................................................................154 5.9 Оценивание точности распределительного прогноза ..........................154 Квантильные баллы ....................................................................................154 Балл Винклера .............................................................................................155 Непрерывный рангово-вероятностный балл ..........................................156 Бесшкальные сравнения с использованием баллов навыков .................157 Библиография .............................................................................................158 5.10 Перекрестная валидация временных рядов .........................................158 Пример: точность прогнозного горизонта с помощью перекрестной валидации ...........................................................................161 5.11 Упражнения .............................................................................................162 5.12 Дальнейшее чтение ................................................................................165 Библиография .................................................................................................165 Глава 6. Прогнозы на основе суждений ......................................166 Библиография .............................................................................................167 6.1 Остерегайтесь ограничений .....................................................................167 Библиография .............................................................................................168 6.2 Ключевые принципы ................................................................................168 Четко и кратко формулировать задачу прогнозирования ......................168 Внедрять систематический подход ...........................................................168 Документировать и обосновывать ............................................................169 Систематически оценивать прогнозы ......................................................169 Сегрегировать прогнозистов и пользователей ........................................169 Пример: схема фармацевтических льгот (PBS) ........................................170 6.3 Дельфийский метод ..................................................................................172 Эксперты и анонимность ...........................................................................173 Постановка задачи прогнозирования в дельфийском методе ................173 Обратная связь............................................................................................174 Итерация .....................................................................................................174 Окончательные прогнозы ..........................................................................174 Ограничения и вариации ...........................................................................174 Куратор ........................................................................................................174 Библиография .............................................................................................175 6.4 Прогнозирование по аналогии ................................................................175 Пример: разработка учебной программы средней школы .....................175 Структурированная аналогия ....................................................................176
Стр.9
Оглавление  9 Библиография .............................................................................................176 6.5 Сценарное прогнозирование ...................................................................177 6.6 Прогнозирование новых продуктов ........................................................177 Композитный прогноз торгового отдела ..................................................177 Мнение руководства ...................................................................................178 Намерения клиентов ..................................................................................178 Библиография .............................................................................................179 6.7 Сужденческие корректировки ................................................................179 Использовать корректировки экономно ..................................................179 Применять структурированный подход ...................................................180 Пример: комитет по прогнозированию туризма (TFC) ...........................180 Библиография .............................................................................................181 6.8 Дальнейшее чтение ..................................................................................182 Библиография .................................................................................................182 Глава 7. Модели регрессии временных рядов ...........................184 7.1 Линейная модель .......................................................................................184 Простая линейная регрессия .....................................................................184 Пример: потребительские расходы в США ...............................................185 Множественная линейная регрессия ........................................................188 Пример: потребительские расходы в США ...............................................188 Допущения ..................................................................................................190 7.2 Оценивание методом наименьших квадратов .......................................191 Пример: потребительские расходы в США ...............................................191 Подогнанные значения ..............................................................................192 Качество подгонки .....................................................................................194 Пример: потребительские расходы в США ...............................................195 Стандартная ошибка регрессии ................................................................195 7.3 Оценивание регрессионной модели ........................................................195 График ACF остатков .................................................................................196 Гистограмма остатков ................................................................................196 Графики остатков в сопоставлении с предсказателями ..........................197 Графики остатков в сопоставлении с подогнанными значениями ........198 Выбросы и влиятельные наблюдения .......................................................199 Мнимая регрессия ......................................................................................200 7.4 Несколько полезных предсказателей ......................................................202 Тренд ...........................................................................................................202 Фиктивные переменные ............................................................................203 Сезонные фиктивные переменные ...........................................................203 Пример: ежеквартальное производство пива в Австралии .....................204 Переменные вмешательства ......................................................................207 Торговые дни ..............................................................................................207 Распределенные лаги .................................................................................208 Пасха ............................................................................................................208 Ряд Фурье ....................................................................................................208 7.5 Отбор предсказателей ..............................................................................209 Скорректированный R2 ............................................................................................................................................210
Стр.10
10  Оглавление Перекрестная валидация ...........................................................................211 Информационный критерий Акаике ........................................................211 Исправленный информационный критерий Акаике ..............................212 Байесов информационный критерий Шварца .........................................212 Какую меру мы должны использовать? ....................................................212 Пример: потребление в США .....................................................................213 Регрессия наилучшего подмножества ......................................................214 Пошаговая регрессия .................................................................................214 Остерегайтесь статистического вывода после отбора предсказателей ....................................................................................... 215 Библиография .............................................................................................215 7.6 Прогнозирование с помощью регрессии ................................................215 Антефактумные прогнозы в сопоставлении с постфактумными прогнозами .................................................................................................215 Пример: ежеквартальное производство пива в Австралии .....................216 Прогнозирование на основе сценариев ....................................................217 Строительство предсказательной регрессионной модели ......................218 Предсказательные интервалы ...................................................................219 7.7 Нелинейная регрессия ..............................................................................221 Прогнозирование с нелинейным трендом ...............................................222 Пример: времена побед в Бостонском марафоне ....................................222 7.8 Корреляция, каузация и прогнозирование .............................................225 Корреляция – это не каузация ...................................................................225 Прогнозирование с использованием коррелированных предсказателей ...........................................................................................226 Мультиколлинеарность и прогнозирование ............................................226 7.9 Матричная формулировка ........................................................................227 Оценивание методом наименьших квадратов ........................................228 Подогнанные значения и перекрестная валидация ................................228 Прогнозы и предсказательные интервалы ..............................................229 7.10 Упражнения .............................................................................................229 7.11 Дальнейшее чтение .................................................................................232 Библиография .................................................................................................233 Глава 8. Экспоненциальное сглаживание ...................................234 Библиография .............................................................................................234 8.1 Простое экспоненциальное сглаживание ...............................................235 Средневзвешенная форма .........................................................................237 Компонентная форма .................................................................................238 Плоские прогнозы ......................................................................................238 Оптимизация ..............................................................................................239 Пример: экспорт из Алжира ......................................................................239 8.2 Методы с трендом .....................................................................................241 Метод линейного тренда Хольта ...............................................................241 Пример: население Австралии ..................................................................242 Методы демпфируемого тренда ................................................................244 Пример: численность населения Австралии (продолжение) ..................245
Стр.11
Оглавление  11 Пример: используемость интернета .........................................................246 Библиография .............................................................................................248 8.3 Методы с сезонностью ..............................................................................249 Аддитивный метод Хольта–Винтерса ......................................................249 Мультипликативный метод Хольта–Винтерса .........................................250 Пример: внутренние поездки с ночевкой в Австралии ...........................250 Демпфирующий метод Хольта–Винтерса ................................................254 Пример: метод Хольта–Винтерса с ежедневными данными ..................255 Библиография .............................................................................................255 8.4 Таксономия методов экспоненциального сглаживания ........................256 Библиография .............................................................................................257 8.5. Модели пространства состояний инноваций для экспоненциального сглаживания ...........................................................257 ETS(A,N,N): простое экспоненциальное сглаживание с аддитивными ошибками .........................................................................258 ETS(M,N,N): простое экспоненциальное сглаживание с мультипликативными ошибками ...........................................................259 ETS(A,A, N): линейный метод Хольта с аддитивными ошибками ..........260 ETS(M,A, N): линейный метод Хольта с мультипликативными ошибками ....................................................................................................260 Другие модели ETS .....................................................................................261 8.6 Оценивание и отбор модели ....................................................................261 Оценивание моделей ETS ..........................................................................261 Отбор модели ..............................................................................................262 Пример: гостевые ночи праздичных туристов в Австралии ...................263 Библиография .............................................................................................265 8.7 Прогнозирование с использованием моделей ETS ................................265 Предсказательные интервалы ...................................................................266 Библиография .............................................................................................267 8.8 Упражнения ...............................................................................................268 8.9 Дальнейшее чтение ..................................................................................271 Библиография .................................................................................................271 Глава 9. Модели ARIMA ..................................................................272 9.1 Стационарность и дифференцирование .................................................272 Дифференцирование .................................................................................274 Модель случайного блуждания ..................................................................275 Дифференцирование второго порядка .....................................................276 Сезонное дифференцирование .................................................................276 Тесты на единичные корни ........................................................................279 Библиография .............................................................................................281 9.2 Нотация обратного сдвига .......................................................................281 9.3 Авторегрессионные модели .....................................................................282 9.4 Модели скользящих средних ...................................................................283 9.5 Несезонные модели ARIMA .....................................................................285 Пример: экспорт из Египта ........................................................................286
Стр.12
12  Оглавление Понимание моделей ARIMA ......................................................................288 Графики ACF и PACF ...................................................................................288 9.6 Оценивание и выбор порядка ..................................................................291 Оценивание максимального правдоподобия...........................................291 Информационные критерии .....................................................................291 9.7 Моделирование ARIMA в fable .................................................................292 Как работает функция ARIMA()?................................................................292 Процедура моделирования ........................................................................294 Пример: экспорт из Центральноафриканской Республики ....................296 Понимание констант в R ............................................................................300 Построение графика характеристических корней ...................................300 Библиография .............................................................................................301 9.8 Прогнозирование ......................................................................................301 Точечные прогнозы ....................................................................................301 Предсказательные интервалы ...................................................................303 Библиография .............................................................................................304 9.9 Сезонные модели ARIMA ..........................................................................304 ACF/PACF .....................................................................................................304 Пример: ежемесячная занятость в сфере досуга и гостиничного бизнеса в США .................................................................305 Пример: продажа кортикостероидных препаратов в Австралии ...........309 Оценивание на тестовом наборе ...............................................................313 9.10 ARIMA в сопоставлении с ETS ................................................................314 Сравнение ARIMA() и ETS() на несезонных данных ................................316 Сравнение ARIMA() и ETS() на сезонных данных ....................................317 9.11 Упражнения .............................................................................................321 9.12 Дальнейшее чтение ................................................................................325 Библиография .................................................................................................326 Глава 10. Модели на основе динамической регрессии ............ 327 10.1 Оценивание .............................................................................................328 Библиография .............................................................................................329 10.2 Регрессия с ошибками ARIMA с использованием fable ........................329 Пример: личное потребление и доход в США ..........................................330 10.3 Прогнозирование ....................................................................................333 Пример: личное потребление и доход в США ..........................................333 Пример: прогнозирование спроса на электроэнергию ...........................334 10.4 Стохастические и детерминированные тренды ...................................339 Пример: пассажиры воздушного транспорта Австралии ........................339 10.6 Лагированные предсказатели ................................................................344 Пример: телевизионная реклама и страховые котировки ......................345 10.5 Динамическая гармоническая регрессия .............................................342 Пример: расходы австралийцев на питание вне дома ............................343 Библиография .............................................................................................344 10.7 Упражнения .............................................................................................348 10.8 Дальнейшее чтение ................................................................................351 Библиография .................................................................................................351
Стр.13
Оглавление  13 Глава 11. Прогнозирование иерархических и сгруппированных временных рядов .......................................352 11.1 Иерархические и сгруппированные временные ряды .........................353 Иерархические временные ряды ..............................................................353 Пример: иерархия туризма в Австралии ..................................................354 Сгруппированные временные ряды .........................................................358 Пример: тюремное население Австралии ................................................359 Смешанная иерархическая и групповая структура .................................362 11.2 Одноуровневые подходы ........................................................................364 Подход «снизу вверх» .................................................................................364 Пример: генерирование восходящих прогнозов .....................................364 Рабочий поток прогнозирования агрегационных структур ....................366 Подходы «сверху вниз» ..............................................................................366 Средние исторические пропорции ...........................................................366 Пропорции исторических средних ..........................................................367 Прогнозные пропорции .............................................................................367 Подход «от середины наружу» ...................................................................369 Библиография .............................................................................................369 11.3 Увязывание прогнозов ...........................................................................369 Матричная нотация ....................................................................................369 Отображающие матрицы ...........................................................................370 Увязывание .................................................................................................371 Метод оптимальной увязки MinT ..............................................................372 Библиография .............................................................................................374 11.4 Прогнозирование внутреннего туризма в Австралии .........................374 11.5 Увязанные распределительные прогнозы ............................................377 Библиография .............................................................................................378 11.6 Прогнозирование тюремного населения Австралии ...........................378 Библиография .............................................................................................383 11.7 Упражнения .............................................................................................383 11.8 Дальнейшее чтение ................................................................................384 Библиография .................................................................................................384 Глава 12. Продвинутые методы прогнозирования ...................386 12.1 Сложная сезонность ................................................................................386 STL с несколькими сезонными периодами ..............................................387 Динамическая гармоническая регрессия с несколькими сезонными периодами ...............................................................................390 Пример: спрос на электроэнергию ...........................................................392 Библиография .............................................................................................395 12.2 Модель Prophet ........................................................................................396 Пример: ежеквартальное производство цемента ....................................396 Пример: получасовой спрос на электроэнергию .....................................398 Библиография .............................................................................................400 12.3 Векторные авторегрессии ......................................................................400 Пример: модель VAR для прогнозирования потребления в США ...........403 Библиография .............................................................................................405
Стр.14
14  Оглавление 12.4 Нейросетевые модели .............................................................................405 Архитектура нейронной сети ....................................................................405 Нейросетевая авторегрессия .....................................................................407 Пример: пятна на Солнце ..........................................................................407 Предсказательные интервалы ...................................................................408 12.5 Бутстрапирование и бутстрап-агрегирование .....................................410 Бутстрапирование временного ряда .........................................................410 Бутстрап-агрегированные прогнозы ........................................................412 Библиография .............................................................................................414 12.6 Упражнения .............................................................................................415 12.7 Дальнейшее чтение ................................................................................415 Библиография .................................................................................................415 Глава 13. Некоторые практические вопросы прогнозирования ............................................................................ 417 13.1 Еженедельные, ежедневные и субдневные данные .............................417 Еженедельные данные ...............................................................................417 Ежедневные и субдневные данные ...........................................................419 13.2 Временные ряды счетных данных .........................................................420 Пример: продажа фармацевтических препаратов ..................................421 Библиография .............................................................................................423 13.3 Обеспечение того, чтобы прогнозы оставались в пределах допустимых значений .................................................................424 Положительные прогнозы .........................................................................424 Прогнозы, ограниченные интервалом .....................................................425 13.5 Предсказательные интервалы для агрегатов ........................................431 13.6 Ретрополяция ..........................................................................................432 13.7 Очень длинные и очень короткие временные ряды ............................433 Прогнозирование очень коротких временных рядов ..............................433 Прогнозирование очень длинных временных рядов ..............................435 13.4 Комбинации прогнозов ..........................................................................427 Прогнозные распределения комбинаций ................................................429 Библиография .............................................................................................431 13.8 Прогнозирование на тренировочном и тестовом наборах ..................435 Многошаговые прогнозы на тренировочных данных ............................436 Одношаговые прогнозы на тестовых данных ..........................................437 13.9 Работа с выбросами и пропущенными значениями ............................438 Выбросы ......................................................................................................438 Пропущенные значения ............................................................................441 13.10 Дальнейшее чтение...............................................................................443 Библиография .............................................................................................443 Приложение А. Использование языка R .....................................444 Инсталлирование R и RStudio ....................................................................444 Примеры на R в этой книге ........................................................................444 Начало работы с R.......................................................................................445
Стр.15
Оглавление  15 Приложение B. Для преподавателей ...........................................446 Решения упражнений .................................................................................446 Слайды.........................................................................................................446 Приложение C. Рецензии и отзывы ............................................. 447 Отзывы коллег-преподавателей ................................................................447 Отзывы практикующих специалистов и студентов .................................448 Библиография .................................................................................................450
Стр.16

Облако ключевых слов *


* - вычисляется автоматически