УДК 519.23
ББК 22.172
М15
М15 Маккаллах Питер
Десять проектов из прикладной статистики / пер. с англ. А. В. Логунова.
– М.: ДМК Пресс, 2024. – 424 с.: ил.
ISBN 978-5-93700-262-4
Книга посвящена обсуждению проектов из разных областей – от медицинских
и биологических наук до изучения поведения животных, кривых роста, временных
рядов и экологии. Статистические методы максимально упрощены, чтобы
соответствовать научным целям. Цель книги – не столько проиллюстрировать
алгоритмы или методы вычислений, сколько показать роль статистического мышления
и стохастического моделирования в научных и инженерных исследованиях.
Издание предназначено специалистам широкого круга, уже знакомым с линейными
моделями, но желающим получить опыт применения статистических идей
на практике. Оно также будет полезно научным работникам, преподавателям и
студентам, которые хотят использовать соответствующие статистические методы
в своей работе.
First published in English under the title Ten Projects in Applied Statistics by Peter McCullagh,
edition: 1. Copyright © Peter McCullagh, under exclusive license to Springer Nature Switzerland
AG, 2022.
This edition has been translated and published under licence from Springer Nature Switzerland
AG.Springer Nature Switzerland AG takes no responsibility and shall not be made liable for the
accuracy of the translation.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой
бы то ни было форме и какими бы то ни было средствами без письменного разрешения
владельцев авторских прав.
Материал, изложенный в данной книге, многократно проверен. Но, поскольку вероятность
технических ошибок все равно существует, издательство не может гарантировать
абсолютную точность и правильность приводимых сведений. В связи с этим издательство
не несет ответственности за возможные ошибки, связанные с использованием книги.
ISBN 978-3-03114-275-8 (англ.) © Copyright © Peter McCullagh, 2022
ISBN 978-5-93700-262-4 (рус.) © Оформление, перевод на русский язык, издание,
ДМК Пресс, 2024
Стр.5
Оглавление
Предисловие .........................................................................................................................14
Глава 1. Хирургия: опыты на крысах ................................................................................18
1.1 Заживление хирургических ран .........................................................................................18
1.2 Элементарный анализ ............................................................................................................20
1.3 Два неправильно проведенных анализа ........................................................................21
1.4 Модельные формулы ..............................................................................................................22
1.5 Более подходящий формальный анализ ........................................................................23
1.6 Дополнительные вопросы .....................................................................................................25
1.6.1 Исключения .................................................................................................................................... 25
1.6.2 Отсутствующие компоненты .................................................................................................... 25
1.6.3 Обратное преобразование....................................................................................................... 26
Глава 2. Цепные пилы .........................................................................................................33
2.1 Эффективность цепных пил .................................................................................................33
2.2 Факторы ковариаты и вмешательства .............................................................................34
2.3 Цели статистического анализа ............................................................................................35
2.4 Формальные модели ...............................................................................................................37
2.5 REML и отношения правдоподобия ..................................................................................38
2.6 Краткие выводы ........................................................................................................................39
2.7 Упражнения .................................................................................................................................40
Глава 3. Плодовые мушки ...................................................................................................43
3.1 Рацион и предпочтения в спаривании ............................................................................43
3.2 Первоначальные аналитические расчеты ......................................................................44
3.2.1 Ассортативное спаривание ...................................................................................................... 44
3.2.2 Первоначальные вопросы и упражнения .......................................................................... 45
3.3 Эффекты невосприимчивости .............................................................................................46
3.3.1 Более подробные частотности спариваний ...................................................................... 46
3.3.2 Последующие аналитические расчеты ............................................................................... 48
3.3.3 Разбросанность Лексиса ........................................................................................................... 49
3.3.4 Возможна ли недостаточная разбросанность? ................................................................ 50
3.3.5 Независимость ............................................................................................................................... 52
3.3.6 Признательность ........................................................................................................................... 53
3.4 Технические моменты .............................................................................................................54
3.4.1 Гипергеометрическая симуляция методом случайного подбора ............................. 54
3.4.2 Статистика Пирсона ..................................................................................................................... 55
3.5 Дальнейшие проекты с дрозофилами .............................................................................57
3.6 Упражнения .................................................................................................................................59
Глава 4. Кривые роста .........................................................................................................62
4.1 Рост растений: описание данных .......................................................................................62
1.7 Краткое изложение статистических понятий ................................................................27
1.8 Упражнения .................................................................................................................................28
Стр.7
Оглавление 7
4.2 Модели кривых роста .............................................................................................................64
4.3 Технические моменты .............................................................................................................66
4.3.1 Нелинейная модель с компонентами дисперсии ........................................................... 66
4.3.2 Подогнанные значения против предсказанных значений ......................................... 68
4.4 Стратегии моделирования ....................................................................................................70
4.5 Прочие функции R ....................................................................................................................71
4.6 Упражнения .................................................................................................................................72
Глава 5. Эволюция пухоедов ..............................................................................................73
5.1 Эволюция пухоедов на отловленных голубях ..............................................................73
5.1.1 История вопроса ........................................................................................................................... 73
5.1.2 Постановка эксперимента ........................................................................................................ 74
5.1.3 Деконструкция постановки эксперимента......................................................................... 74
5.2 Анализ данных ...........................................................................................................................76
5.2.1 Роль таблиц и графиков ............................................................................................................. 76
5.2.2 Тренды в средних квадратах ................................................................................................... 78
5.2.3 Начальные значения и факториальные подпространства .......................................... 80
5.2.4 Простая дисперсионно-компонентная модель ................................................................ 82
5.2.5 Согласованность с рандомизацией ....................................................................................... 83
5.3 Критика авторских выводов ................................................................................................85
5.4 Дополнительные замечания .................................................................................................86
5.4.1 Роль пола пухоеда ....................................................................................................................... 86
5.4.2 Устойчивость начальных закономерностей ....................................................................... 88
5.4.3 Единицы наблюдения ................................................................................................................. 89
5.5 Дальнейшие действия .............................................................................................................91
5.5.1 Новая информация о постановке эксперимента ............................................................ 91
5.5.2 Модификации в аналитических расчетах .......................................................................... 92
5.5.3 Дополнительные замечания .................................................................................................... 94
5.6 Упражнения .................................................................................................................................95
Глава 6. Временные ряды I...............................................................................................100
6.1 Метеорологический температурный ряд .....................................................................100
6.2 Сезонные циклы .....................................................................................................................101
6.2.1 Средние значения и дисперсии .......................................................................................... 101
6.2.2 Перекос и эксцесс ..................................................................................................................... 103
6.3 Годовая статистика ................................................................................................................105
6.3.1 Средние значения и дисперсии .......................................................................................... 105
6.3.2 Дисперсия блочных средних .............................................................................................. 107
6.3.3 Вариограмма при коротких и длинных лагах ............................................................... 108
6.4 Стохастические модели для сезонного цикла ...........................................................110
6.4.1 Структура единиц наблюдения ............................................................................................ 110
6.4.2 Сезонная структура................................................................................................................... 111
6.4.3 Стационарные периодические процессы ....................................................................... 111
6.5 Оценивание векового тренда ...........................................................................................112
6.5.1 Гауссово оценивание и предсказание .............................................................................. 112
6.5.2 Применение к оцениванию тренда ................................................................................... 113
6.5.3 Матерновские модели ............................................................................................................. 113
Стр.8
8 Оглавление
6.5.4 Статистические проверки и отношения правдоподобия .......................................... 114
6.5.5 Неровные пути в сопоставлении с гладкими путями ................................................. 114
6.5.6 Гладкие пути в сопоставлении со сверхгладкими путями ........................................ 115
6.6 Упражнения ..............................................................................................................................116
Глава 7. Временные ряды II ..............................................................................................121
7.1 Анализ частотной области ..................................................................................................121
7.1.1 Преобразование Фурье........................................................................................................... 121
7.1.2 Дисперсионно-аналитическое разложение по частоте ............................................. 122
7.2 Температурный спектр .........................................................................................................123
7.2.1 Спектральные графики ............................................................................................................ 123
7.2.2 Параметрическая спектральная модель .......................................................................... 125
7.3 Стационарные темпоральные процессы ...................................................................... 127
7.3.1 Стационарность........................................................................................................................... 127
7.3.2 Визуализация траекторий ...................................................................................................... 128
7.3.3 Правдоподобие Уиттла ............................................................................................................ 131
7.4 Упражнения ...............................................................................................................................132
Глава 8. Выход из Африки ................................................................................................135
8.1 Лингвистическое разнообразие ......................................................................................135
8.2 Перечень фонем.....................................................................................................................136
8.3 Расстояния ................................................................................................................................ 137
8.4 Карты и диаграммы рассеяния ........................................................................................138
8.5 Точечные оценки и доверительные области ..............................................................141
8.5.1 Простая версия ........................................................................................................................... 141
8.5.2 Учет корреляций ........................................................................................................................ 143
8.6 Вопросы для дальнейшего рассмотрения ...................................................................145
8.6.1 Перечень фонем как отклик ................................................................................................. 145
8.6.2 Гласные, согласные и тоны .................................................................................................... 146
8.6.3 Гранулярность ............................................................................................................................. 146
8.7 Последующий проект ........................................................................................................... 147
8.7.1 Расширенная база данных ..................................................................................................... 147
8.7.2 Элементарное заблуждение ................................................................................................. 148
8.8 Упражнения ..............................................................................................................................149
Глава 9. Природоохранные проекты ..............................................................................150
9.1 Последствия потепления атмосферы ............................................................................150
9.1.1 Эксперимент ................................................................................................................................ 150
9.1.2 Данные ........................................................................................................................................... 151
9.1.3 Упражнения .................................................................................................................................. 152
9.2 Участь шмеля............................................................................................................................153
9.2.1 Введение ....................................................................................................................................... 153
9.2.2 Риск инфицирования ............................................................................................................... 154
9.2.3 Смешанные модели .................................................................................................................. 156
9.2.4 Переставляемость ..................................................................................................................... 157
9.2.5 Роль обобщенной линейной (GLM) и обобщенной линейной
смешанной (GLMM) моделей ............................................................................................... 159
Стр.9
Оглавление 9
9.3 Два дальнейших проекта ...................................................................................................160
9.4 Упражнения ..............................................................................................................................160
Глава 10. Приспособленность глупышей ........................................................................162
10.1 Колония на острове Эйнхаллоу .....................................................................................162
10.1.1 История вопроса ..................................................................................................................... 162
10.1.2 Учет размножения на Эйнхаллоу ..................................................................................... 163
10.1.3 Репродуктивная последовательность ............................................................................. 164
10.1.4 Средние для когорт ................................................................................................................ 165
10.1.5 Средние для непересекающихся подмножеств ......................................................... 167
10.1.6 Урегулирование парадокса ................................................................................................ 168
10.2 Формальные модели .........................................................................................................169
10.2.1 Линейная гауссова модель.................................................................................................. 169
10.2.2 Предсказание ........................................................................................................................... 171
10.2.3 Адекватность модели ............................................................................................................ 172
10.3 Постановки в формате «мечение – повторный отлов» .......................................173
10.4 Дополнительные источники ............................................................................................174
10.5 Упражнения............................................................................................................................174
Глава 11. Базовые понятия ...............................................................................................176
11.1 Стохастические процессы ................................................................................................176
11.1.1 Процесс ....................................................................................................................................... 176
11.1.2 Вероятность ............................................................................................................................... 177
11.1.3 Самосогласованность ............................................................................................................ 178
11.1.4 Статистическая модель ......................................................................................................... 179
11.2 Выборки ..................................................................................................................................180
11.2.1 Базовая линия .......................................................................................................................... 180
11.2.2 Единица наблюдения ............................................................................................................ 181
11.2.3 Популяция .................................................................................................................................. 182
11.2.4 Биологические популяции .................................................................................................. 183
11.2.5 Выборки и подвыборки ....................................................................................................... 183
11.2.6 Иллюстрации ............................................................................................................................ 184
11.3 Переменные ..........................................................................................................................185
11.3.1 Обычные переменные .......................................................................................................... 185
11.3.2 Взаимосвязь .............................................................................................................................. 190
11.3.3 Внешняя переменная ............................................................................................................ 191
11.4 Сравнительные исследования .......................................................................................193
11.4.1 Рандомизация .......................................................................................................................... 193
11.4.2 Единица эксперимента ......................................................................................................... 194
11.4.3 Эффекты ковариат и вмешательства .............................................................................. 195
11.4.4 Аддитивность ............................................................................................................................ 196
11.4.5 Постановка ................................................................................................................................ 197
11.4.6 Репликация ................................................................................................................................ 197
11.4.7 Независимость ......................................................................................................................... 197
11.4.8 Интерференция ....................................................................................................................... 198
11.4.9 Пространство состояний ...................................................................................................... 198
11.4.10 Эволюция пространства состояний .............................................................................. 199
Стр.10
10 Оглавление
11.4.11 Продольное исследование ............................................................................................... 200
11.4.12 Жизненный предел .............................................................................................................. 201
11.5 Несравнительные исследования ..................................................................................201
11.5.1 Примеры ..................................................................................................................................... 201
11.5.2 Стратифицированная популяция ...................................................................................... 201
11.5.3 Гетерогенность ......................................................................................................................... 202
11.5.4 Случайная выборка ................................................................................................................ 202
11.5.5 Стратифицированная случайная выборка ................................................................... 203
11.5.6 Доступность ............................................................................................................................... 203
11.5.7 Популяционные cредние ..................................................................................................... 203
11.5.8 Целевая задача оценивания I ............................................................................................ 203
11.5.9 Обратное вероятностное взвешивание ........................................................................ 204
11.5.10 Целевая задача оценивания II ........................................................................................ 204
11.6 Интерпретация изменчивости .......................................................................................206
11.6.1 Сказ о двух дисперсиях ....................................................................................................... 206
11.6.2 Какая дисперсия уместна? .................................................................................................. 209
11.7 Упражнения ............................................................................................................................210
Глава 12. Принципы ...........................................................................................................214
12.1 Согласованность выборок................................................................................................214
12.2 Адекватность для приложения ...................................................................................... 217
12.3 Принцип правдоподобия .................................................................................................218
12.4 Подходы ..................................................................................................................................221
12.5 Упражнения............................................................................................................................224
Глава 13. Начальные значения ........................................................................................227
13.1 Протоколы рандомизации ............................................................................................... 227
13.2 Четыре гауссовы модели..................................................................................................228
13.2.1 Распределение и правдоподобие .................................................................................... 231
13.2.2 Численное сравнение оценок ........................................................................................... 232
13.2.3 Начальные значения против ковариат .......................................................................... 233
13.2.4 Начальные значения в наблюдательном исследовании ........................................ 233
13.3 Упражнения............................................................................................................................235
Глава 14. Распределения вероятностей .........................................................................238
14.1 Переставляемые процессы .............................................................................................238
14.1.1 Безусловная переставляемость......................................................................................... 238
14.1.2 Регрессионные процессы .................................................................................................... 238
14.1.3 Блочная переставляемость ................................................................................................. 239
14.1.4 Стационарность ....................................................................................................................... 240
14.1.5 Переставляемость ................................................................................................................... 240
14.1.6 Аксиоматическая точка ........................................................................................................ 241
14.1.7 Блочная рандомизация ........................................................................................................ 241
14.2 Семейства с независимыми компонентами .............................................................242
14.2.1 Параметрические модели ................................................................................................... 242
14.2.2 Модель I (с независимыми и одинаково распределенными
компонентами) .......................................................................................................................... 242
Стр.11
Оглавление 11
14.2.3 Модель II (с независимыми и одинаково распределенными
компонентами) .......................................................................................................................... 243
14.3 Модели без независимых и одинаково распределенных компонент ..........244
14.3.1 Классификационный фактор ............................................................................................. 244
14.3.2 Вмешательство ......................................................................................................................... 246
14.3.3 Классификационный фактор плюс вмешательство .................................................. 247
14.3.4 Количественная ковариата плюс вмешательство...................................................... 248
14.3.5 Модели случайных коэффициентов ............................................................................... 249
14.4 Примеры эффектов вмешательства ............................................................................251
14.4.1 Простая гауссова модель без взаимодействия .......................................................... 251
14.4.2 Аддитивное взаимодействие ............................................................................................. 252
14.4.3 Модели дожития...................................................................................................................... 252
14.5 Неполные процессы ...........................................................................................................255
14.5.1 Процесс Госсета ....................................................................................................................... 255
14.5.2 Фактические и контрфактические процессы .............................................................. 257
14.5.3 Ограничения неполных процессов ................................................................................. 260
14.6 Упражнения............................................................................................................................262
Глава 15. Гауссовы распределения .................................................................................265
15.1 Действительное гауссово распределение.................................................................265
15.1.1 Плотность и моменты ............................................................................................................ 265
15.1.2 Гауссово распределение на ℝn
............................................................................................266
15.2 Комплексное гауссово распределение ...................................................................... 267
15.2.1 Одномерное распределение.............................................................................................. 267
15.2.2 Гауссово распределение на ℂn
............................................................................................268
15.2.3 Моменты ..................................................................................................................................... 269
15.3 Гауссово гильбертово пространство ............................................................................269
15.3.1 Евклидова структура ............................................................................................................. 269
15.3.2 Предупредительные замечания ....................................................................................... 270
15.3.3 Проекции.................................................................................................................................... 271
15.3.4 Двойственное пространство линейных комбинаций .............................................. 274
15.4 Статистические интерпретации .....................................................................................275
15.4.1 Каноническая норма ............................................................................................................. 275
15.4.2 Независимость ......................................................................................................................... 275
15.4.3 Предсказание и условное ожидание ............................................................................. 277
15.4.4 Формула Эддингтона ............................................................................................................ 279
15.4.5 Линейная регрессия .............................................................................................................. 282
15.4.6 Линейная регрессия и предсказание ............................................................................. 283
15.5 Аддитивность ........................................................................................................................285
15.5.1 Алгоритм 1DOFNA ................................................................................................................... 285
15.5.2 Теория 1DOFNA ........................................................................................................................ 285
15.5.3 Объем и обоснование ........................................................................................................... 286
15.6 Упражнения............................................................................................................................ 287
Глава 16. Пространственно-временные процессы .......................................................290
16.1 Гауссовы процессы ..............................................................................................................290
16.2 Стационарность и изотропия ..........................................................................................292
Стр.12
12 Оглавление
16.2.1 Определения ............................................................................................................................. 292
16.2.2 Стационарность на приращениях .................................................................................... 294
16.2.3 Стационарный процесс на ℤ(mod k)................................................................................ 294
16.3 Стационарные гауссовы временные ряды ...............................................................295
16.3.1 Спектральное представление ............................................................................................ 295
16.3.2 Класс Матерна.......................................................................................................................... 296
16.4 Стационарный пространственный процесс .............................................................. 297
16.4.1 Спектральное разложение .................................................................................................. 297
16.4.2 Пространственный класс Матерна .................................................................................. 299
16.4.3 Иллюстрация путем симуляции ........................................................................................ 301
16.5 Ковариационные произведения ...................................................................................306
16.5.1 Адамарово произведение ................................................................................................... 306
16.5.2 Сепарабельные произведения и тензорные произведения ................................. 307
16.6 Действительный пространственно-темпоральный процесс ..............................308
16.6.1 Ковариационные произведения....................................................................................... 308
16.6.2 Примеры ковариационных произведений .................................................................. 310
16.6.3 Распространяющаяся волна ............................................................................................... 313
16.6.4 Теория возмущений ............................................................................................................... 315
16.7 Гидродинамические процессы .......................................................................................315
16.7.1 Система отсчета ....................................................................................................................... 315
16.7.2 Поворот и групповое действие ......................................................................................... 317
16.7.3 Действие на матрицах ........................................................................................................... 319
16.7.4 Заимствованные произведения ........................................................................................ 319
16.7.5 Гидродинамическая симметрия ........................................................................................ 320
16.8 Летний облачный покров в Иллинойсе .....................................................................321
16.9 Подробнее о гауссовых процессах ..............................................................................324
16.9.1 Белый шум ................................................................................................................................. 324
16.9.2 Предельные процессы .......................................................................................................... 325
16.10 Упражнения .........................................................................................................................329
Глава 17. Правдоподобие .................................................................................................336
17.1 Введение .................................................................................................................................336
17.1.1 Небайесова модель ................................................................................................................ 336
17.1.2 Байесово решение .................................................................................................................. 337
17.2 Функция правдоподобия ..................................................................................................339
17.2.1 Определение ............................................................................................................................. 339
17.2.2 Тождества Бартлетта .............................................................................................................. 339
17.2.3 Последствия для оценивания ............................................................................................ 341
17.2.4 Статистика отношения правдоподобия I ....................................................................... 342
17.2.5 Профильное правдоподобие ............................................................................................. 343
17.2.6 Два пошаговых примера ...................................................................................................... 344
17.3 Обобщенные линейные модели ....................................................................................346
17.4 Дисперсионно-компонентные модели ....................................................................... 347
17.5 Модели-смеси .......................................................................................................................348
17.5.1 Двухкомпонентные смеси ................................................................................................... 348
17.5.2 Статистика отношения правдоподобия .......................................................................... 349
Стр.13
Оглавление 13
17.5.3 Обнаружение разреженного сигнала ............................................................................. 350
17.6 Инференциальные компромиссы .................................................................................352
17.7 Упражнения ............................................................................................................................353
Глава 18. Остаточное правдоподобие ............................................................................357
18.1 История вопроса.................................................................................................................. 357
18.2 Простая линейная регрессия ..........................................................................................358
18.3 Правдоподобие REML .......................................................................................................359
18.3.1 Проекции.................................................................................................................................... 359
18.3.2 Определители ........................................................................................................................... 360
18.3.3 Маргинальное правдоподобие с произвольным ядром ........................................ 360
18.3.4 Отношения правдоподобия ............................................................................................... 361
18.4 Вычисления ............................................................................................................................362
18.4.1 Программные опции ............................................................................................................. 362
18.4.2 Отношения правдоподобия ............................................................................................... 363
18.4.3 Проверка на взаимодействие ........................................................................................... 364
18.4.4 Сингулярные модели ............................................................................................................. 366
18.5 Упражнения............................................................................................................................366
Глава 19. Преобразование отклика ................................................................................370
19.1 Правдоподобие для гауссовых моделей ...................................................................370
19.2 Преобразование Бокса–Кокса ......................................................................................371
19.2.1 Степенное преобразование ............................................................................................... 371
19.2.2 Перешкалированное степенное преобразование .................................................... 372
19.2.3 Пошаговый пример ................................................................................................................ 373
19.2.4 Преобразование и остаточное правдоподобие ........................................................ 375
Глава 20. Презентации и отчеты......................................................................................380
20.1 Наставнические советы I .................................................................................................380
20.2 Наставнические советы II ................................................................................................385
20.3 Упражнения............................................................................................................................389
Глава 21. Вопросы и ответы .............................................................................................391
21.1 Научная экспертиза............................................................................................................391
21.1.1 Единица наблюдения ............................................................................................................ 391
21.1.2 Клинические испытания ...................................................................................................... 393
21.1.3 Полевые испытания в сельском хозяйстве .................................................................. 398
21.1.4 Ковариаты .................................................................................................................................. 400
21.1.5 Постановка с подбором ....................................................................................................... 403
21.1.6 Эффект вмешательства ......................................................................................................... 405
Источники ............................................................................................................................409
Предметный указатель .....................................................................................................416
19.3 Преобразование методом сочетания квантилей ................................................... 377
19.4 Упражнения............................................................................................................................378
Стр.14