Данные.Манипулирование данными. Система управления базами данных (СУБД)

Эта книга написана ведущими специалистами в области технологий баз данных и веба. Благодаря популярности интернет-торговли появилось много чрезвычайно объемных баз данных, для извлечения информации из которых нужно применять методы добычи данных (data mining). В книге описываются алгоритмы, которые реально использовались для решения важнейших задач добычи данных и могут быть с успехом применены даже к очень большим наборам данных. Изложение начинается с рассмотрения технологии MapReduce — важного средства распараллеливания алгоритмов. Излагаются алгоритмы хэширования с учетом близости и потоковой обработки данных, которые поступают слишком быстро для тщательного анализа. В последующих главах рассматривается идея показателя PageRank, нахождение частых предметных наборов и кластеризация. Во второе издание включен дополнительный материал о социальных сетях, машинном обучении и понижении размерности.

Эта книга написана ведущими специалистами в области технологий баз данных и веба. Благодаря популярности интернет-торговли появилось много чрезвычайно объемных баз данных, для извлечения информации из которых нужно применять методы добычи данных (data mining). В книге описываются алгоритмы, которые реально использовались для решения важнейших задач добычи данных и могут быть с успехом применены даже к очень большим наборам данных. Изложение начинается с рассмотрения технологии MapReduce — важного средства распараллеливания алгоритмов. Излагаются алгоритмы хэширования с учетом близости и потоковой обработки данных, которые поступают слишком быстро для тщательного анализа. В последующих главах рассматривается идея показателя PageRank, нахождение частых предметных наборов и кластеризация. Во второе издание включен дополнительный материал о социальных сетях, машинном обучении и понижении размерности.

Учебное пособие содержит более ста упражнений по трем разделам курса информатики (работа с текстовыми документами, электронными таблицами и базами данных). Большинство упражнений снабжено решениями или подробными указаниями, ориентированными на использование программ Word, Excel и Access системы Microsoft Office версий 2007 и 2003. Пособие также может служить справочником по основным приемам работы с программами Word, Excel и Access.

Учебное пособие «Алгоритмы и структуры данных» содержит теоретический материал по основным структурам данных и их практической реализации в языках программирования Си/Си++ и Паскаль. Приведена классификация структур данных. Рассмотрены основные алгоритмы обработки структур данных, включая создание и удаление элементов, прохождение, сортировку и поиск, с их реализациями на языках программирования Си/Си++ и Паскаль.

В учебном пособии рассматриваются теоретические основы интеллектуального анализа данных. Дается общее представление о современных инструментах обработки больших данных и приводятся примеры их практического применения. Учебное пособие построено с учетом требований к специалистам в области информатики.

Учебное пособие «Алгоритмы и структуры данных» содержит теоретический материал по основным структурам данных и их практической реализации в языках программирования Си/Си++ и Паскаль. Приведена классификация структур данных. Рассмотрены основные алгоритмы обработки структур данных, включая создание и удаление элементов, прохождение, сортировку и поиск, с их реализациями на языках программирования Си/Си++ и Паскаль.

Изложены вопросы, касающиеся автоматизации предприятий и организаций, а также основные принципы построения систем сбора и обработки данных. Рассмотрены наиболее распространенные интерфейсы, применяемые в промышленности. Кратко описаны основные принципы построения компьютерных сетей и реляционных баз данных.

Книга предоставит вам доступ в мир прогнозной аналитики и продемонстрирует, почему Python является одним из лидирующих языков науки о данных. Охватывая широкий круг мощных библиотек Python, в том числе scikit-learn, Theano и Keras, предлагая руководство и советы по всем вопросам, начиная с анализа мнений и заканчивая нейронными сетями, книга ответит на большинство ваших вопросов по машинному обучению.

Рассматриваются принципы и механизмы обработки данных и знаний в информационных системах. Подробно описаны все этапы проектирования баз данных, требования к реляционным СУБД и перспективы их развития.

Открытия, сделанные на основе анализа данных, совершили революцию в моделировании, прогнозировании поведения и управлении сложными системами. В этой книге приводятся сведения из машинного обучения, инженерной математики и математической физики с целью показать, как моделирование и управление динамическими системами сочетаются с современными методами науки о данных. Рассказывается о многих достижениях в области научных расчетов, которые позволяют применять управляемые данными методы к изучению разнообразных сложных систем, таких как турбулентность, науки о мозге, климатология, эпидемиология, финансы, робототехника и автономные системы.

Эта книга — прекрасное руководство по программированию для детей на языке Python средней сложности. Читатели получат базовые знания о языке Python, узнают об объектно-ориентированном программировании, научатся работать с функциями, классами и модулями. Много внимания уделено работе с графикой, созданию анимации и разработке собственной игры.

Главная задача настоящей книги состоит в том, чтобы предоставить способы применения мощных методов машинного обучения с открытым исходным кодом в крупномасштабных проектах без привлечения дорогостоящих корпоративных решений или больших вычислительных кластеров. Описаны масштабируемое обучение в Scikit-learn, нейронные сети и глубокое обучение с использованием Theano, H2O и TensorFlow. Рассмотрены классификационные и регрессионные деревья, а также обучение без учителя. Охвачены эффективные методы машинного обучения в вычислительной среде MapReduce на платформах Hadoop и Spark на языке Python.

Рассматриваются основные элементы работы в электронной таблице на примере MS Excel 2003. Приводятся как базовые возможности работы с табличными данными, такие как: редактирование, форматирование данных, работа с формулами, так и функции, выполняющие сложные расчеты или решающие различные оптимизационные задачи. Также рассматриваются базовые элементы среды разработки программ, основанные на конструкциях алгоритмического языка Visual Basic for Application.

Данные должны приносить пользу бизнесу. А их грамотная подача — повышать профессиональную ценность специалистов. Книга «Заставьте данные говорить» написана, чтобы вы добились и того и другого. Это простое практическое пособие по созданию интерактивных дашбордов в Excel поможет тем, кто готовит отчеты и превращает сырые данные в информацию для принятия решений. Специальной подготовки не требуется — материал изложен понятно даже для начинающих. После выполнения пошаговых инструкций у вас будет несколько версий управленческого отчета. Все полученные навыки пригодятся для самостоятельной разработки дашбордов. Правила выбора диаграмм, советы и лайфхаки от практика сделают ваши данные информативными, а визуализацию — профессиональной.

Библиотека pandas — популярный пакет для анализа и обработки данных на языке Python. Он предлагает эффективные, быстрые, высокопроизводительные структуры данных, которые позволяют существенно упростить работу. Данная книга познакомит вас с обширным набором инструментов, предлагаемых библиотекой pandas, — начиная с обзора загрузки данных с удаленных источников, выполнения численного и статистического анализа, индексации, агрегации и заканчивая визуализацией данных и анализом финансовой информации.

В учебном пособии представлены основные положения управления информационными ресурсами в научно-исследовательской работе. В первой главе рассмотрены вопросы информационных ресурсов как фактора современных знаний. Вторая глава посвящена теоретическим основам базовых компонентов процесса управления информационными ресурсами – информационными процессами и информационными технологиями. Третья глава рассматривает мировой и национальный рынок информационных ресурсов. В рамках четвертой главы подробно рассматриваются прикладные аспекты информационных ресурсов, процессов и технологий на примере образовательной и научной деятельности. Пятая глава затрагивает важную составляющую процесса управления информационными ресурсами – систему защиты информационных ресурсов. Заключительная, шестая глава посвящена одному из передовых направлений развития технологий – обработке больших объемов данных. К каждой главе приводятся вопросы и задания для самопроверки. В конце учебного пособия представлен глоссарий. Учебное пособие соответствует современным требованиям ФГОС ВО.

Рассматриваются основные элементы работы в электронной таблице на примере MS Excel 2003. Приводятся как базовые возможности работы с табличными данными, такие как: редактирование, форматирование данных, работа с формулами, так и функции, выполняющие сложные расчеты или решающие различные оптимизационные задачи. Также рассматриваются базовые элементы среды разработки программ, основанные на конструкциях алгоритмического языка Visual Basic for Application.

Представлены основные методы реализации численных методов при решении различных математических задач: нахождение корней уравнений, поиск экстремумов функций, интегрирование и дифференцирование функций и решение дифференциальных уравнений и их систем. Показаны способы реализации этих методов в среде MS Excel как средствами пакета, так и с использованием приемов программирования в VBA for Excel.

У принцессы Руруны и Кейна возникла проблема: в их торгующей фруктами империи царит неразбериха из-за противоречивых данных, и поэтому дыни подменяются яблоками и клубникой, что вызывает большие трудности в работе. И что же им делать? Конечно же, построить реляционную базу данных, и поможет им в этом Тико, чудесная фея баз данных. Она покажет Руруне и Кейну, как создать базу данных, которая поможет управлять продажами, реализацией товара и его экспортом. Вы узнаете, как работает база данных, и поймёте значение таких терминов, как схемы, ключи, нормализация и транзакции. Если у вас голова идёт кругом, когда речь заходит о базах данных, или же вы просто заплутали в лабиринте чисел и данных, которые, как вам кажется, неподвластны контролю, присоединяйтесь к Руруне и Кейну.

Рассмотрена проблема формирования систем реального времени с гарантированной доступностью ресурсов. Предложены модели использования программно-информационных ресурсов с учетом ресурсной базы и ограничений на время исполнения. Описаны методика и алгоритмы формирования вектора временной развертки для кластерных структур распределенных архитектур систем реального времени, учитывающие занятость ресурсов.

Цель данной книги – дать общее представление о технической структуре и архитектуре сети интернет. Подробно описываются разные уровни сетевой модели TCP/IP (канальный, сетевой, транспортный и прикладной); особое внимание уделяется безопасности транспортного уровня. Рассмотрена система доменных имен. В заключительной главе представлена семиуровневая модель взаимодействия открытых систем (OSI) в сравнении с моделью TCP/IP. В конце каждой главы приводятся глоссарий по теме и контрольные вопросы, позволяющие читателям проверить свои знания.

В этой книге представлены полезные методики программирования, имеющие практическую ценность. Опираясь на свой многолетний опыт, авторы показывают, как написать надежный код, который смогут читать другие разработчики. Основной принцип обучения — составление плана решения: от определения структур данных по условиям поставленной задачи через примеры и тесты к написанию программного кода. Обсуждаются типичные ошибки программистов. Многочисленные примеры и упражнения позволяют читателям самостоятельно закрепить изученный материал на практике.

В этой книге представлены базовые техники моделирования данных в Excel и Power BI. Авторы, специалисты в области бизнес-аналитики, делают акцент на реальных ситуациях, с которыми регулярно сталкиваются как консультанты. Они продемонстрируют общие техники моделирования, научат читателя производить расчеты с календарем, расскажут об использовании снимков для подсчета количества товаров в наличии, о том, как работать с несколькими валютами одновременно, и подробно объяснят на примерах многие другие полезные операции.

Прочитав книгу, вы будете хорошо понимать основы PostgreSQL 10 и обладать навыками, необходимыми для разработки эффективных решений с применением базы данных. Это хорошее пособие для близкого знакомства с PostgreSQL. С той или иной степенью полноты оно охватывает практически все вопросы, с которыми встречается разработчик и администратор, начинающий профессионально работать с этой СУБД.

Рассматриваются офисные программы, с которыми студент должен научиться работать, чтобы овладеть компетенциями по направлению подготовки «Информационные системы и технологии».

Книга предназначена для первоначального изучения Raspberry PI — одноплатного компьютера размером с банковскую карту. Благодаря простым пошаговым инструкциям юный читатель сможет превратить свою «малинку» и в настоящий медиацентр, и в автосимулятор (с помощью языка Scratch), и в сердце умного дома (программируя на Python и подключая разные датчики). А в конце будет создан настоящий сайт и протестирован на смартфоне.

Рассмотрены теоретические и практические вопросы применения интеллектуальных методов обработки данных с использованием аналитической системы RapidMiner. Приведены примеры решения таких типовых задач научных исследований, как предварительная подготовка данных и заполнение пропусков, классификация и снижение размерности; большое внимание уделено вопросам представления результатов исследований в удобном виде.

Современный дом и его обитатели немыслимы без электронной аппаратуры дистанционного облачного управления через беспроводную сеть. Большой дом можно сделать легко управляемым с помощью различных предложенных в книге решений. Настройка всей системы занимает считанные минуты, но безупречно работает годами, позволяя вам контролировать важные объекты за тысячи километров. Устройства, описанные в книге, предназначены для управления электрическими приборами через домашнюю или корпоративную Wi-Fi-сеть и используются в сети с общим названием интернет вещей. Примеры настройки электронных модулей описаны не только для Windows, но и для приложения Аndroid.

Книга описывает последние возможности PostgreSQL 11 для построения эффективных и отказоустойчивых приложений. Подробно рассмотрены передовые аспекты PostgreSQL, включая логическую репликацию, кластеры баз данных, оптимизацию производительности, мониторинг и управление пользователями, процесс миграции с Oracle на PostgreSQL.

Не тратьте зря времени, пытаясь подогнать Python под способы программирования, знакомые вам по другим языкам. Python настолько прост, что вы очень быстро станете продуктивным программистом, но зачастую это означает, что вы не в полной мере используете то, что может предложить язык. Второе издание книги позволит вам писать более эффективный и современный код на Python 3, обратив себе на пользу лучшие идеи. Издание предназначено практикующим программистам на Python, которыехотят усовершенствоваться в Python 3.

R — золотой стандарт, ежедневно используемый исследователями по всему миру для самых разных вычислений и статистического анализа данных. Этот свободно распространяемый язык с открытым исходным кодом включает огромное количество пакетов самой разной направленности, от расширенной визуализации данных до глубокого обучения. Чрезвычайно удобный для пользователей с математическим складом ума, R легко решает практические задачи, не заставляя думать о них с точки зрения программиста. Данная книга научит вас выполнять статистический анализ и визуализировать результаты с помощью R и его популярных пакетов; решать такие практические задачи, как прогнозирование, интеллектуальный анализ данных и разработка динамических отчетов. В третье издание добавлены новые сведения о построении диаграмм с помощью пакета ggplot2, а также приводятся примеры из области машинного обучения, такие как кластеризация, классификация и анализ временных рядов.

Книга посвящена языку программирования SQL, применяемому для работы с реляционными базами данных. Обсуждается версия языка ANSI SQL-92 (SQL2). В настоящем издании рассказывается об использовании запросов SQL для решения соответствующих классов задач по выборке данных, их модификации или по работе с объектами структуры базы данных. Все конструкции подробно описываются и иллюстрируются большим количеством примеров. Кроме того, для каждого типа запросов рассматриваются отклонения от стандарта в реализации наиболее распространенных СУБД: MS Access, MS SQL Server, Oracle, MySQL и PostgreSQL.

Предложено использовать динамический словарь как средство расширения стандартных структур данных языка C++. Словарь реализуется как сложная структура данных, представленная в виде класса. Использование в структуре данных статистики слов, которые разбиваются на узлы, позволяет существенно расширить спектр решаемых задач. Подход, при котором данные представляются в виде словаря и для работы с которыми используются функции словарного класса, назван автором «Словарная технология». Дается описание словарных функций и приводятся примеры решаемых на основе словарной технологии задач. Возможности словарной технологии по хранению и доступу к данным использованы для построения модели постреляционной системы управления базами данных. Дается описание постреляционной базы данных и особенностей представления информации. Предлагается язык управления данными, в основе которого лежит словарное представление. Приложения содержат описание функций словарной технологии, сервисных функций, упрощающих работу с данными, функции работы с постреляционной базой данных, язык управления и язык запросов к базе данных. Приводится программный материал по решению разнообразных задач в словарной технологии и перечень примеров по работе с постреляционной базой данных.

Эта книга представляет собой исчерпывающее руководство по работе с MongoDB 4.2 — мощной документоориентированной системой управления базами данных. Авторы, внесшие личный вклад в создание и развитие MongoDB, начинают описание системы с самых азов (история создания, базовая терминология) и постепенно переходят к более сложным темам (выполнение запросов, индексация, агрегирование, транзакции, наборы реплик, управление операциями, шардинг и администрирование данных, долговечность, мониторинг и безопасность). Читатель получит конкретные советы по написанию приложения, которое хорошо работает с MongoDB, выяснит, какие системные настройки следует учитывать при ее развертывании и как устанавливать MongoDB в Windows, OS X и Linux.

В книге представлено подробное описание распределенных и параллельных баз данных с учетом новейших технологий. Авторы затрагивают такие темы, как проектирование распределенных и параллельных БД, контроль распределенных данных, распределенная обработка запросов и транзакций, интеграция баз данных. Отдельная глава посвящена обработке больших данных (в частности, обсуждаются распределенные системы хранения, потоковая обработка данных, платформы MapReduce и Spark, анализ графов и озера данных). Обработка веб-данных рассматривается с акцентом на технологию RDF, получившую широкое распространение. В конце глав 2–12 приводятся упражнения, позволяющие закрепить теоретический материал. На сопроводительном сайте читатели найдут информацию об основах реляционных баз данных, обработке запросов, управлении транзакциями и компьютерных сетях. Кроме того, на сайте выложены все рисунки к книге, слайды и решения упражнений (только для преподавателей). Издание может использоваться в качестве учебника для студентов и магистрантов, изучающих информатику и смежные дисциплины, а также заинтересует всех, кто занимается компьютерными науками.

Книга поможет вам писать запросы, которые выполняются быстро и вовремя доставляют результаты. Вы научитесь смотреть на процесс написания запроса с точки зрения механизма базы данных и начнете думать, как оптимизатор базы данных. Объясняется, как читать и понимать планы выполнения запросов, какие существуют методы воздействия на них с точки зрения оптимизации производительности, и показано, как эти методы используются вместе для создания эффективных приложений.

Второе издание этой книги дает современное практическое введение в разработку научных приложений на Python, ориентированных на обработку данных. Код переписан под версию Python 3.6, добавлены сведения о последних версиях библиотек pandas, NumPy, IPython и Jupyter. Описаны те части языка Python и библиотеки для него, которые необходимы для эффективного решения широкого круга аналитических задач: интерактивная оболочка IPython и Jupyter-блокноты, библиотеки NumPy и pandas, библиотека для визуализации данных matplotlib и др.

Объем обрабатываемых данных во всех областях человеческой деятельности продолжает расти быстрыми темпами. Существуют ли эффективные приемы работы с ним? В этой книге рассказывается об Apache Spark, открытой системе кластерных вычислений, которая позволяет быстро создавать высокопроизводительные программы анализа данных. C помощью Spark вы сможете манипулировать огромными объемами данных посредством простого API на Python, Java и Scala. Написанная разработчиками Spark, эта книга поможет исследователям данных и программистам быстро включиться в работу. Она рассказывает, как организовать параллельное выполнение заданий всего несколькими строчками кода, и охватывает примеры от простых пакетных приложений до программ, осуществляющих обработку потоковых данных и использующих алгоритмы машинного обучения.

Объем обрабатываемых данных во всех областях человеческой деятельности продолжает расти быстрыми темпами. Существуют ли эффективные приемы работы с ним? В этой книге рассказывается об Apache Spark, открытой системе кластерных вычислений, которая позволяет быстро создавать высокопроизводительные программы анализа данных. C помощью Spark вы сможете манипулировать огромными объемами данных посредством простого API на Python, Java и Scala. Написанная разработчиками Spark, эта книга поможет исследователям данных и программистам быстро включиться в работу. Она рассказывает, как организовать параллельное выполнение заданий всего несколькими строчками кода, и охватывает примеры от простых пакетных приложений до программ, осуществляющих обработку потоковых данных и использующих алгоритмы машинного обучения.

Перед вами авторитетный справочник по переформатированию, очистке и обработке наборов данных на Python. Третье издание, переработанное с учетом версий Python 3.10 и pandas 1.4, содержит практические примеры, демонстрирующие эффективное решение широкого круга задач анализа данных. По ходу дела вы узнаете о последних версиях pandas, NumPy и Jupyter.