Статистика (сводная)

Сегодня язык R является безусловным лидером среди свободно распространяемых систем статистического анализа. Ведущие университеты мира, аналитики крупнейших компаний и исследовательских центров регулярно используют R при проведении научно-технических расчетов и создании крупных информационных проектов. Широкое преподавание статистики на базе этой системы и всемерная поддержка научным сообществом обусловили то, что приведение скриптов кода на языке R постепенно становится общепризнанным стандартом как в журнальных публикациях, так и при неформальном общении ученых всего мира. Настоящая книга дополняет небольшую (пока) коллекцию работ по R на русском языке, обобщая и значительно расширяя совокупность методических сообщений, опубликованных ранее одним из авторов в блоге «R: Анализ и визуализация данных» (r-analytics.blogspot.com). Книга адресована студентам, аспирантам, а также молодым и состоявшимся ученым, желающим освоить классические и современные методы анализа данных с использованием языка R.

Нужно овладеть статистикой по долгу службы? Хотите получить помощь при сдаче курса статистики? «Статистика для всех» — ясное и краткое введение и руководство для всех новичков. Тщательно переработанное и расширенное, это издание поможет вам глубоко понять статистику, избегая ошеломляющей сложности многих университетских учебников. Эта книга — руководство, которое можно приспосабливать к имеющимся знаниям и нуждам отдельных читателей. Некоторые главы посвящены темам, которые часто отсутствуют в вводных книгах по статистике. Каждая глава представляет собой простые для понимания объяснения, дополненные диаграммами, формулами, задачами с решениями и взятыми из практики заданиями. Если вы хотите не ломая голову применять распространенные методы анализа данных и узнать о разнообразных подходах — эта книга для вас.

Руи влюблена в Ямамото, работающего в отделе, начальником которого является отец Руи. Но внезапно Ямамото улетает в длительную командировку. Узнав, что его работа в командировке связана с факторным анализом, Руи решает освоить эту науку, чтобы полететь к Ямамото и вместе с ним делать его работу. А помогут ей в этом нелёгком деле её подруги, с которыми она подрабатывает в кафе Norns — аспирантка Риса и студентка Миу. Вмести с ними она узнает, для чего проводят факторный анализ и на конкретном примере освоит методы, применяемые при его проведении. Кроме того она ознакомится с методом главных компонент, который очень похож на факторный анализ, и узнает, в чём его отличие. Если вас интересует, как можно узнать причины (или факторы), побуждающие людей отвечать на вопросы анкет так или иначе, то эта книга для вас.

Риса и Миу учатся в институте и подрабатывают в кафе Norns. Миу очень нравится один из посетителей кафе, но она не знает, как с ним познакомиться. Однажды он забывает на столе книгу, которая оказывается учебником по регрессионному анализу. Теперь есть повод заговорить с ним, но Миу почти не знакома с регрессионным анализом. И тогда Риса берётся помочь своей подруге разобраться в этой науке, осваивая которую Миу узнает, зачем и когда нужен регрессионный анализ, как его проводить, как оценивать его достоверность. В ходе обучения Миу познакомится с такими разновидностями регрессионного анализа, как множественная и логистическая регрессия и на примере кафе Norns научится практически их использовать. Если у вас появилась необходимость на основе некоторых данных предсказать другие данные, например, зная расположение и площадь нового магазина предсказать, какая у него будет выручка, то эта книга для вас.

Если тебя интересует статистика, или тебе просто нужно как-то обработать данные, то «Занимательная статистика» поможет тебе преодолеть чувство, что «ты плохо знаешь математику». Этот иллюстрированный путеводитель легко и непринуждённо проведёт тебя по пути познания статистики. А полученные знания ты сможешь закрепить с помощью упражнений, без которых, как известно, не обходится ни одна книга по математике. Последуй за всегда невозмутимым Ямамото и ты увидишь, как он научит Руи: • рассчитать среднее значение, медиану и стандартное отклонение результатов игры в боулинг, • построить гистограмму цен на китайскую лапшу рамэн, • определить вероятность получения проходного балла на экзаменах по математике, • вычислить коэффициент Крамера, чтобы узнать, как предпочитают признаваться в любви юноши и девушки, • узнать, как нормируются результаты тестов, когда учителя оценивают успеваемость. Эти и другие примеры из реальной жизни позволят тебе с лёгкостью усвоить то, что многие находят трудным для понимания. Если ты хочешь разобраться в статистике, но от обычных учебников статистики у тебя пухнет голова и клонит в сон, или если тебе просто нужно освежить забытые знания, пусть Ямамото-сан и Руи будут твоими гидами. Книга будет полезна учащимся старших классов средних школ и колледжей, студентам вузов, а также всем, кто интересуется статистикой и хочет, чтобы обучение было лёгким и увлекательным.

Управление предприятием требует решения задач, связанных с различными производственными вопросами, такими как: повышение эффективности управления персоналом, сбыт готовой продукции, оптимизация поставок, планирование и прогнозирование деятельности предприятия в целом и его подразделений. Определение базовых понятий статистического анализа, статистические методы и инструментарий решения таких задач изложен в данном пособии. Это пособие предназначено главным образом для специалистов, решающих практические задачи, связанные с обработкой и анализом статистической информации с использованием пакета Microsoft Excel.

R — это мощный язык для статистических вычислений и графики, который может справиться поистине с любой задачей в области обработки данных. Он работает во всех важных операционных системах и поддерживает тысячи специализированных модулей и утилит. Все это делает R замечательным средством для извлечения полезной информации из гор сырых данных. «R в действии» — это руководство по обучению этому языку с особым вниманием к практическим задачам. В данной книге представлены полезные примеры статистической обработки данных и описаны изящные методы работы с запутанными и неполными данными, а также с данными, распределение которых отлично от нормального и с которыми трудно справиться обычными методами. Статистический анализ — это только одна сторона дела. Вы также овладеете обширными графическими возможностями для визуального исследования и представления данных.

В большинстве учебников по регрессии основное внимание уделяется теории и простейшим примерам. Однако настоящие задачи прикладной статистики сложнее и многограннее. Эта книга не о теории регрессии — а об использовании ее для решения реальных задач сравнения, оценки, предсказания и причинного вывода. Книга обеспечивает плавный переход к логистической регрессии и обобщенным линейным моделям. Вместо вывода формул основное внимание уделяется практическим вычислениям в средах R и Stan, а исходный код доступен для скачивания.

Нанами Конно предстоит использовать байесовскую статистику в своей работе – с этой целью она записывается на университетский курс. Вместе со своим однокурсником Ямабуки она узнает, чем байесовская статистика отличается от традиционной, как в ней понимается вероятность, что такое функция правдоподобия и как формулируется теорема Байеса. В заключительных главах рассматриваются методы Монте-Карло для цепей Маркова. Для объяснения теории в манге используются забавные, хорошо запоминающиеся примеры; по мере усложнения материала вводится больше табличных данных и формул. Вниманию читателя предлагается множество практических задач с подробным объяснением решений.

В пособии изложен теоретический материал дисциплины «Теория вероятностей и математическая статистика» касающийся раздела теории вероятностей «Случайные события». Изложение сопровождается многочисленными примерами, а также иллюстрациями. Представлены задания для самостоятельной работы студентов, которые сопровождаются подробными примерами их решения. Утверждено редакционно-издательским советом ВоГУ.

В учебном пособии рассматриваются вопросы статистической обработки экспериментальных данных, являющейся важным этапом при проведении полной математической обработки результатов экспериментов. Выделены основные проблемы, связанные с применением дисперсионного анализа, начиная от создания математической модели вплоть до интерпретации результатов. Данное пособие предназначено для студентов вузов, преподавателей и всех занимающихся научными исследованиями.

В издании рассмотрены основные процедуры сбора, обработки и анализа статистических данных, возможности их реализации на персональных компьютерах. Настоящее издание дает представление о теоретических основах статистических методов обработки данных, методиках и границах их применения. Для желающих более глубоко изучить соответствующие разделы теории вероятностей и математической статистики приведен список рекомендуемой литературы и глоссарий понятий этих учебных дисциплин. Изложение теории проиллюстрировано примерами из разнообразных областей медицинской и фармацевтической практики, которые должны убедить читателя в реальной возможности применения методов статистического анализа данных для решения как научных, так и практических задач. Издание рекомендовано Экспертным советом УМО в системе ВО и СПО в качестве учебного пособия для обучающихся по основным образовательным программам высшего образования — программам подготовки научно-педагогических кадров в магистратуре, ординатуре, аспирантуре по области образования «Здравоохранение и медицинские науки».

Рабочая тетрадь посвящена изучению вопросов, связанных со статистической обработкой данных результатов измерений. Рабочая тетрадь предназначена для бакалавров, обучающихся по направлениям подготовки 27.03.02 «Управление качеством» и 27.03.05 «Инноватика» и рекомендуется для использования в учебном процессе по техническим и экономическим специальностям при изучении в вузе тематики, связанной с измерениями, технологическими процессами в машиностроении, в том числе инновационными, и управлением качеством.

В пособии изложен теоретический и практический материал раздела парный регрессионный анализ. Включает типовые примеры и задачи с использованием Microsoft Office Excel и Eviews. Для освоения данного материала достаточно знания базового курса теории вероятностей и математической статистики. Учебное пособие предназначено для преподавателей и студентов. Может быть использовано для проведения практических занятий и организации самостоятельной работы студентов.

Практикум содержит практические задания и методические рекомендации по их выполнению. Практикум предназначен для бакалавров, обучающихся по направлениям подготовки 27.03.02 «Управление качеством» и 27.03.05 «Инноватика» и рекомендуется для использования в учебном процессе по техническим и экономическим специальностям при изучении в вузе тематики, связанной с анализом временных рядов и прогнозированием.

Человечество научилось собирать, обрабатывать и использовать в науке, бизнесе и повседневной жизни огромные массивы данных. Но что делать с данными, которых у нас нет? Допустимо ли игнорировать то, чего мы не замечаем? Британский статистик Дэвид Хэнд считает, что это по меньшей мере недальновидно, а порой — крайне опасно. В своей книге он выделяет 15 влияющих на наши решения и действия видов данных, которые остаются в тени. Например, речь идет об учете сигналов бедствия, которые могли бы подать жители бедных районов, если бы у них были смартфоны, результатах медицинского исследования, которые намеренно утаили или случайно исказили, или данных, ставших «темными» из-за плохого набора критериев для включения в выборку. Хэнд также рассказывает о том, какие меры могут сгладить эффект «темных данных» и как их можно обратить себе на пользу. Книга будет интересна широкому кругу читателей, интересующихся дата-сайенс, программированием и статистикой.

Статистическое управление процессами (SPC) — мощное орудие менеджмента, предназначенное для непрерывного мониторинга и диагностики любых бизнес-процессов. Если диагностика показывает, что процесс находится в статистически управляемом состоянии, то его улучшением должен заниматься менеджмент. Напротив, если процесс не стабилен, только сотрудники имеют шанс отыскать причину нестабильности и устранить ее. Успех многих компаний, в первую очередь Toyota, основан на эффективном использовании статистического управления процессами для повышения качества продукции. Это первая книга на русском языке, в которой ясно, наглядно и профессионально изложены принципы и методы статистического управления процессами на основе контрольных карт, разработанных Уолтером Шухартом в Bell Laboratories, и показаны недостатки традиционного подхода к контролю качества, основанного только на соблюдении допусков. Книга будет полезна как практикам, которым нужны простые рецепты оптимизации процессов, так и бизнес-консультантам, интересующимся процессным менеджментом.

Эта книга содержит практические советы по начальному этапу анализа любого количества данных на основе системного, статистического и визуального мышления. Главным инструментом описываемого здесь подхода служат контрольные карты Шухарта с учетом их развития Демингом в сочетании с широким применением методов разведочного анализа данных, предложенного Тьюки. Эти советы основываются на многолетнем опыте консультирования компаний из разных отраслей по всему миру, а также на курсах лекций, которые авторы читали и продолжают читать студентам Московского института стали и сплавов и Московского энергетического института. Все инструменты и методы описаны на языке, доступном любому специалисту любой отрасли, а обработка данных ведется с помощью стандартного пакета Excel.

Казалось бы, термин «большие данные» понятен и доступен только специалистам. Но автор этой книги доказывает, что анализ данных можно организовать и в простом, понятном, очень эффективном и знакомом многим Excel. Причем не важно, сколько велик ваш массив данных. Техники, предложенные в этой книге, будут полезны и владельцу небольшого интернет-магазина, и аналитику крупной торговой компании. Вы перестанете бояться больших данных, научитесь видеть в них нужную вам информацию и сможете проанализировать предпочтения ваших клиентов и предложить им новые продукты, оптимизировать денежные потоки и складские запасы, другими словами, повысите эффективность работы вашей организации. Книга будет интересна маркетологам, бизнес-аналитикам и руководителям разных уровней, которым важно владеть статистикой для прогнозирования и планирования будущей деятельности компаний.

Книга, основанная на теории вероятностей, статистике и современной теории портфеля, рассказывает о том, как использовать различные методы управления капиталом на фьючерсном, валютном, фондовом и других рынках. Концепции, изложенные в этой книге, в большинстве своем просты, как и практические примеры, наглядно иллюстрирующие их использование в торговле. Сочетая практику современной теории портфеля с концепцией оптимального f, автор показывает, как соизмерять ставки и возможные последствия торговых решений. Стратегии, рассмотренные в этой книге, позволяют определять оптимальное количество контрактов для торговли на любых рынках, максимизировать прибыль при торговле с реинвестированием, рассчитывать весовые коэффициенты компонентов инвестиционного портфеля. Книга ориентирована на профессиональных трейдеров и аналитиков, частных и институциональных инвесторов, работающих на фондовом рынке, рынке FOREX, а также на рынках фьючерсов и опционов.

В этой всемирно известной книге Дарелл Хафф рассказывает о различных способах злоупотребления статистикой в целях обмана аудитории и манипулирования ее мнением. Каждый день на вас пытаются повлиять, чтобы сподвигнуть на покупку какого-то «нужного» продукта или на выбор «правильного» кандидата: «Благодаря пасте “Чистые зубы” образование кариеса снижается на 23%!» «Политика N поддерживает 85% граждан»… Как понять, насколько достоверны те или иные данные? Каким образом происходят подсчеты? Что учитывается, а что остается за кадром? Автор раскрывает секретные инструменты статистиков и вооружает читателя знаниями, которые помогут разобраться во всех хитросплетениях этой науки и не позволят ввести в заблуждение.

Что объединяет множество людей, начинающих изучать статистику? Большинство новичков считает, что она часто сложна и запутанна. Однако Нил Салкинд в результате множества проб и ошибок, а также учитывая многочисленные отзывы читателей, выпустил уже 6-е издание книги с целью научить статистике так, чтобы эта наука перестала пугать и стала для вас полезной! Вы узнаете все необходимое, чтобы понять, чем занимается и что изучает базовая статистика. В книге совсем немного теории (но кое-какая имеется) и доказательств. После прочтения вы сможете понять материал в научных статьях, интерпретировать результаты статистического анализа, а также выполнять основные статистические операции.

В книгу вошли основные сведения по MS Excel и классическим методам непараметрической статистики, применяемым к независимым выборкам, парным наблюдениям и таблицам сопряженности, реализующие эти методы программы VBA и технологии решения типовых задач в MS Excel. Данные технологии представлены, как пошаговыми решениями (без применения макросов), так и автоматическими, когда задача решается одним макросом, возвращающим значение статистики, критерий принятия основной гипотезы и вывод о том, какую гипотезу следует принять. Книга ориентирована на студентов вузов, изучающих статистические методы, но будет полезна и более широкому кругу пользователей MS Excel.

Если вам необходима статистическая обработка данных для курсовой, диплома, статьи или диссертации; вы хотите лучше понимать результаты тех статистических методов, которые применяете; вы устали от того, что программы анализа данных не способны выполнить нестандартные задачи; вам необходимо перегруппировать ваши данные, но жаль тратить на это часы ручного труда; вам нужно освоить самые современные методы, еще не нашедшие отражения в большинстве статистических пакетов, то эта книга — для вас! Изложение построено на базе самого современного программного обеспечения — статистической среды R, которая принадлежит к числу наиболее динамически развивающихся программ в своем классе. Освоив R, вы сможете: полностью автоматизировать свою работу; запускать статистическую обработку прямо из текста документа; получать графики высокого качества и сохранить их в переносимых графических форматах; в любой момент повторить ваш анализ (например, если поменялись требования к иллюстрациям или исходные данные); использовать сотни «библиотек»-плагинов, разработанных для R; применять самые современные методы; разрабатывать собственные программы анализа данных: от коротких «макросов» до полноценных пакетов, реализующих новейшие алгоритмы; и, естественно, проводить любой стандартный анализ данных, получая при этом графики любой степени сложности.

Визуализация данных играет важную роль на всех этапах статистического анализа — от первичного ознакомления со свойствами данных до диагностики качества построенных моделей и представления полученных результатов. Из всего разнообразия статистических программ выделяется R — интенсивно развивающаяся и свободно распространяемая система статистических вычислений, в которой реализовано множество классических и современных методов анализа данных. Программные реализации алгоритмов, входящих в базовую версию R, проверены на практике не одним поколением пользователей и ученых. Кроме того, пользователи R постоянно разрабатывают многочисленные дополнения для этой системы. Настоящая книга посвящена ggplot2 — одному из таких пакетов, который значительно расширяет и без того богатые базовые графические возможности R. В 2015 г. ggplot2 был установлен более миллиона раз. Такая популярность этого пакета обусловлена несколькими причинами, среди которых можно отметить эстетическую привлекательность и пригодное для публикации качество получаемых с его помощью графиков, возможность создавать пользовательские типы диаграмм, а также большой набор опций для тонкой настройки внешнего вида графиков. В этой книге описаны основы работы с ggplot2 и приведены многочисленные примеры кода, которые читатели легко могут модифицировать для собственных нужд. Книга окажется полезной для всех пользователей R, желающих освоить новый мощный инструмент анализа данных.

Книга представляет собой доступно изложенное введение в статистическое обучение — незаменимый набор инструментов, позволяющих извлечь полезную информацию из больших и сложных наборов данных, которые начали возникать в последние 20 лет в таких областях, как биология, экономика, маркетинг, физика и др. В этой книге описаны одни из наиболее важных методов моделирования и прогнозирования, а также примеры их практического применения. Рассмотренные темы включают линейную регрессию, классификацию, создание повторных выборок, регуляризацию, деревья решений, машины опорных векторов, кластеризацию и др. Описание этих методов сопровождается многочисленными иллюстрациями и практическими примерами. Поскольку цель этого учебника заключается в продвижении методов статистического обучения среди практикующих академических исследователей и промышленных аналитиков, каждая глава включает примеры практической реализации соответствующих методов с помощью R — чрезвычайно популярной среды статистических вычислений с открытым кодом. Издание рассчитано на неспециалистов, которые хотели бы применять современные методы статистического обучения для анализа своих данных. Предполагается, что читатели ранее прослушали лишь курс по линейной регрессии и не обладают знаниями матричной алгебры.

В книге представлены основные концепции байесовской статистики и ее практическая реализация на языке Python с использованием современной библиотеки вероятностного программирования РуМСЗ и новой библиотеки исследовательского анализа байесовских моделей ArviZ. Полученные знания о вероятностном моделировании позволят вам самостоятельно проектировать и реализовать байесовские модели для собственных задач научной обработки данных. Издание будет полезно всем специалистам по анализу данных, использующих в своей работе байесовское моделирование.

Если вы знаете, как программировать на Python, и немного знаете о теории вероятности, значит, вы готовы освоить байесовскую статистику. Эта книга расскажет вам, как решать статистические задачи с помощью языка Python вместо математических формул и использовать дискретные вероятностные распределения вместо непрерывной математики. Байесовские статистические методы становятся все более обширными и важными. Но в помощь начинающим доступно не слишком много источников. Изложенная в этой книге методика основана на материале проводимых автором студенческих занятий и точно поможет вам сделать хороший старт! Издание будет полезно всем специалистам по анализу данных, кто должен использовать статистические данные в условиях их неполноты или решать другие нетривиальные задачи, связанные с вероятностными распределениями.

Язык R — мощный инструмент статистического программирования, десятки тысяч людей ежедневно используют его для проведения серьезного статистического анализа. Но не все задачи, даже простые, удастся быстро решить с его помощью, если не знать определенных тонкостей. Эта книга предлагает практические советы по решению разнообразных задач с подробным разбором каждой из них. От основных задач автор переходит к вводу и выводу, общей статистике, графике, линейной регрессии — любая значительная работа с R подразумевает знакомство с большинством этих областей или с ними всеми. Издание пригодится для разработчиков на R с разным уровнем подготовки — от новичков до уверенных пользователей, желающих расширить свой кругозор.