Данные.Манипулирование данными. Система управления базами данных (СУБД)

Дата-грамотность, то есть способность ориентироваться в мире данных, — ключевой навык сегодняшнего дня. Ежедневно в соцсетях публикуются миллиарды сообщений, электронные почтовые ящики по всей планете гудят от писем, а каждый подключенный к интернету автомобиль производит терабайты данных, не говоря уже об онлайн магазинах, платежных системах и государственных цифровых сервисах. Однако работать с данными, анализировать их и использовать их для бизнеса по-прежнему умеет меньшинство, а специалистов катастрофически не хватает. Для тех, кто хочет научиться говорить на языке данных уверенно, признанный эксперт в области дата-грамотности Джордан Морроу и написал свою книгу. Это практическое руководство позволит даже неспециалисту освоить четыре базовых уровня аналитики и узнать, как принимать эффективные решения на основе данных, чтобы извлекать максимум из информации и быть успешными в быстро меняющемся цифровом мире.

Открытия, сделанные на основе анализа данных, совершили революцию в моделировании, прогнозировании поведения и управлении сложными системами. В этой книге приводятся сведения из машинного обучения, инженерной математики и математической физики с целью показать, как моделирование и управление динамическими системами сочетаются с современными методами науки о данных. Рассказывается о многих достижениях в области научных расчетов, которые позволяют применять управляемые данными методы к изучению разнообразных сложных систем, таких как турбулентность, науки о мозге, климатология, эпидемиология, финансы, робототехника и автономные системы.

Raspberry Pi – точная миниатюрная копия полноценного компьютера, наделенная аналогичными функциями. Вместе с тем Raspberry Pi представляет собой нечто большее, чем современный компьютер: с его помощью вы можете создать собственную операционную систему и соединить провода, цепи и контакты на плате. Эта книга предназначена для тех, кто приступает к освоению Raspberry Pi. Показано, как настроить оборудование; описываются интерфейс устройства, его операционная система и базовые навыки работы. Изучив примеры программирования на Scratch 3 и Python, вы сможете расширить функционал Raspberry Pi, написав собственные программы и игры. Цветные иллюстрации и удобные пошаговые инструкции упрощают обучение.

Учебно-методическое пособие предназначено для студентов высших учебных заведений, изучающих дисциплину «Введение в анализ больших информационных массивов», и содержит указания к выполнению пяти лабораторных работ для формирования у студентов навыков использования программного обеспечения и программных средств для структурирования больших массивов данных. Приведены краткие теоретические сведения, необходимые для выполнения лабораторных работ, контрольные вопросы и задания для подготовки к защите.

Рассмотрены методологические основы анализа рынка недвижимости и особенности системы показателей рынка, порядок формирования баз данных для анализа рынка, методология проведения мониторинга рынка недвижимости, классификации и дифференциации объектов недвижимости, основы зонирования рынка. Изложены аспекты применения методов статистического и экономического анализа при исследованиях рынка недвижимости и закономерностей его развития.

В пособии рассматриваются технологические приемы, позволяющие выполнить ряд практических заданий по работе с базами данных в среде популярной СУБД Microsoft SQL Server. Пособие может быть рекомендовано в качестве методического руководства на семинарских занятиях и при подготовке к сдаче зачетов и экзаменов по курсам, связанным с базами данных.

Учебное пособие содержит теоретические и практические сведения для создания информационных систем в виде PHP приложений, использующих СУБД MySQL, Microsoft SQL Server, Firebird и PostgreSQL. Учебное пособие рассмотрено и одобрено на заседании кафедры информационных систем в экономике ФГБОУ ВО «Алтайский государственный технический университет им. И. И. Ползунова».

Учебное пособие включает 8 практических работ, которые направлены на получение студентами навыков формирования требований к информационному обеспечению и опыта практического применения СУБД для создания баз данных. Пособие составлено в соответствии с требованиями федерального государственного образовательного стандарта высшего профессионального образования (ФГОС ВО) 27.03.02 «Управление качеством» профиль: Управление качеством в машиностроении.

Практикум разработан с учетом федерального образовательного стандарта высшего образования по дисциплине «Базы данных» для студентов бакалавриата очной и заочной форм обучения направления подготовки 38.03.05 «Бизнес-информатика». Теоретический и практический материал изложен компактно с сохранением необходимых строгости, алгоритмичности и проработанности основных понятий в соответствии с рабочей программой дисциплины.

Учебное пособие включает восемь практических работ, отражающих основные этапы проектирования реляционных баз данных: инфологическое проектирование, логическое проектирование на основе реляционной модели данных, реализацию базы данных средствами СУБД. Каждая работа содержит необходимые теоретические сведения, используемые для выполнения работы. Построение моделей баз данных предполагает применение CASE-средств. Для реализации базы данных используется СУБД Access.

Первое издание словаря содержит 2600 словарных статей — около 4 тыс. переводных терминов, используемых в робототехнике и в работах по искусственному интеллекту (ИИ), а также в связанных с ними прикладных областях.

Главная задача настоящей книги состоит в том, чтобы предоставить способы применения мощных методов машинного обучения с открытым исходным кодом в крупномасштабных проектах без привлечения дорогостоящих корпоративных решений или больших вычислительных кластеров. Описаны масштабируемое обучение в Scikit-learn, нейронные сети и глубокое обучение с использованием Theano, H2O и TensorFlow. Рассмотрены классификационные и регрессионные деревья, а также обучение без учителя. Охвачены эффективные методы машинного обучения в вычислительной среде MapReduce на платформах Hadoop и Spark на языке Python.

В книге описывается интерфейс Java Native Interface (JNI) — интерфейс взаимодействия языка Java с нативным кодом, написанным на других языках. Она будет полезна программистам на Java, интересующимися вопросами интеграции кода, написанного на C и С++, в Java-приложение; внедрением виртуальной машины Java в С— и С++-приложения; реализация виртуальной машины Java; техническими вопросами организации взаимодействия между различными языками, в том числе имеющими отношение к работе со сборщиком мусора и многопоточности.

Современный дом и его обитатели немыслимы без электронной аппаратуры дистанционного облачного управления через беспроводную сеть. Большой дом можно сделать легко управляемым с помощью различных предложенных в книге решений. Настройка всей системы занимает считанные минуты, но безупречно работает годами, позволяя вам контролировать важные объекты за тысячи километров. Устройства, описанные в книге, предназначены для управления электрическими приборами через домашнюю или корпоративную Wi-Fi-сеть и используются в сети с общим названием интернет вещей. Примеры настройки электронных модулей описаны не только для Windows, но и для приложения Аndroid.

В книге представлен исчерпывающий обзор SQL Server 2019 — инновационной версии популярной СУБД. Авторы рассказывают о производительности и безопасности, об использовании контейнеров и технологии Kubernetes, о работе с кластерами больших данных и средствах машинного обучения. Подробное описание новых функций SQL Server 2019 позволит читателю расширить свои навыки в области управления и извлечения информации из больших данных. Книгу можно использовать в качестве справочника — при желании ее главы можно изучать по отдельности. Многочисленные примеры, рисунки и ссылки помогают разобраться в технических подробностях.

Объем обрабатываемых данных во всех областях человеческой деятельности продолжает расти быстрыми темпами. Существуют ли эффективные приемы работы с ним? В этой книге рассказывается об Apache Spark, открытой системе кластерных вычислений, которая позволяет быстро создавать высокопроизводительные программы анализа данных. C помощью Spark вы сможете манипулировать огромными объемами данных посредством простого API на Python, Java и Scala. Написанная разработчиками Spark, эта книга поможет исследователям данных и программистам быстро включиться в работу. Она рассказывает, как организовать параллельное выполнение заданий всего несколькими строчками кода, и охватывает примеры от простых пакетных приложений до программ, осуществляющих обработку потоковых данных и использующих алгоритмы машинного обучения.

Прочитав книгу, вы будете хорошо понимать основы PostgreSQL 10 и обладать навыками, необходимыми для разработки эффективных решений с применением базы данных. Это хорошее пособие для близкого знакомства с PostgreSQL. С той или иной степенью полноты оно охватывает практически все вопросы, с которыми встречается разработчик и администратор, начинающий профессионально работать с этой СУБД.

Библиотека pandas — популярный пакет для анализа и обработки данных на языке Python. Он предлагает эффективные, быстрые, высокопроизводительные структуры данных, которые позволяют существенно упростить работу. Данная книга познакомит вас с обширным набором инструментов, предлагаемых библиотекой pandas, — начиная с обзора загрузки данных с удаленных источников, выполнения численного и статистического анализа, индексации, агрегации и заканчивая визуализацией данных и анализом финансовой информации.

У принцессы Руруны и Кейна возникла проблема: в их торгующей фруктами империи царит неразбериха из-за противоречивых данных, и поэтому дыни подменяются яблоками и клубникой, что вызывает большие трудности в работе. И что же им делать? Конечно же, построить реляционную базу данных, и поможет им в этом Тико, чудесная фея баз данных. Она покажет Руруне и Кейну, как создать базу данных, которая поможет управлять продажами, реализацией товара и его экспортом. Вы узнаете, как работает база данных, и поймёте значение таких терминов, как схемы, ключи, нормализация и транзакции. Если у вас голова идёт кругом, когда речь заходит о базах данных, или же вы просто заплутали в лабиринте чисел и данных, которые, как вам кажется, неподвластны контролю, присоединяйтесь к Руруне и Кейну.

Из книги вы узнаете, как проектировать и реализовывать приложения, основанные на графовых базах данных, привносящих мощь графов в широкий круг прикладных областей. Если вам необходимо уменьшить время выполнения запросов пользователей или создать базу данных, способную приспосабливаться под быстро развивающийся бизнес, эта книга продемонстрирует вам практическое применение графовых моделей. Второе издание книги содержит обновленные примеры кода и схемы, соответствующие актуальному синтаксису графовой базы данных Neo4j, а также информацию о новом функционале Neo4j.

Каждую секунду во всем мире собирается и динамически обновляется огромный объем информации. Графовые алгоритмы, которые основаны на математике, специально разработанной для изучения взаимосвязей между данными, помогают разобраться в этих гигантских объемах. и, что особенно важно в наши дни, они улучшают контекстную информацию для искусственного интеллекта. Эта книга представляет собой практическое руководство по началу работы с графовыми алгоритмами. В начале описания каждой категории алгоритмов приводится таблица, которая поможет быстро выбрать нужный алгоритм и ознакомиться с примерами его использования. Для изучения материала книги желателен опыт использования платформ Apache Spark или Neo4j, но она пригодится и для изучения более общих понятий теории графов, независимо от выбора графовых технологий.

Эта книга является первым исследованием, написанным отечественным автором, которое посвящено проблеме безопасности СУБД Oracle. Материал книги основан на практическом опыте автора, полученном им в результате проведения тестов на проникновение и обширной исследовательской деятельности в области безопасности СУБД. Книга построена таким образом, что вначале читатель ставится на место потенциального злоумышленника и изучает все возможные способы получения доступа к базе данных, вплоть до поиска новых уязвимостей и написания эксплоитов. Получив достаточно знаний об основных уязвимостях СУБД и о способах проникновения, читатель переходит ко второй части книги, в которой подробно описаны методы защиты СУБД Oracle как с помощью безопасной конфигурации и следования стандартам (в частности, PCI DSS), так и при помощи дополнительных средств обеспечения ИБ.

Книга посвящена всем аспектам использования интернета вещей с примерами его применения в различных сферах, включая промышленность, умные города, транспортную систему и здравоохранение. Это наиболее подробное руководство в данной области на русском языке, которое рекомендуется всем отраслевым специалистам Ассоциацией интернета вещей в России. Вы получите полное представление об экосфере интернета вещей, различных технологиях и альтернативах, а также сможете рассмотреть IoT-архитектуру со всех ракурсов.

В этой книге представлены базовые техники моделирования данных в Excel и Power BI. Авторы, специалисты в области бизнес-аналитики, делают акцент на реальных ситуациях, с которыми регулярно сталкиваются как консультанты. Они продемонстрируют общие техники моделирования, научат читателя производить расчеты с календарем, расскажут об использовании снимков для подсчета количества товаров в наличии, о том, как работать с несколькими валютами одновременно, и подробно объяснят на примерах многие другие полезные операции.

Эта книга написана ведущими специалистами в области технологий баз данных и веба. Благодаря популярности интернет-торговли появилось много чрезвычайно объемных баз данных, для извлечения информации из которых нужно применять методы добычи данных (data mining). В книге описываются алгоритмы, которые реально использовались для решения важнейших задач добычи данных и могут быть с успехом применены даже к очень большим наборам данных. Изложение начинается с рассмотрения технологии MapReduce — важного средства распараллеливания алгоритмов. Излагаются алгоритмы хэширования с учетом близости и потоковой обработки данных, которые поступают слишком быстро для тщательного анализа. В последующих главах рассматривается идея показателя PageRank, нахождение частых предметных наборов и кластеризация. Во второе издание включен дополнительный материал о социальных сетях, машинном обучении и понижении размерности.

Эта книга поможет вам освоить систему управления базами данных PostgreSQL. Здесь вы найдете рекомендации ведущего разработчика функционала репликации и восстановления PostgreSQL и системного архитектора Skype — одного из самых успешных проектов, созданных с помощью PostgreSQL. Данное руководство должно стать настольным для разработчиков, имеющих дело с «боевыми» базами данных и использующих PHP, Java, Python, Ruby, .Net в любой среде разработки. В книге представлены ответы на общие вопросы и решения проблем, почерпнутые авторами из личного опыта работы с СУБД PostgreSQL — в качестве пользователей, разработчиков и преподавателей.

Книга посвящена языку программирования SQL, применяемому для работы с реляционными базами данных. Обсуждается версия языка ANSI SQL-92 (SQL2). В настоящем издании рассказывается об использовании запросов SQL для решения соответствующих классов задач по выборке данных, их модификации или по работе с объектами структуры базы данных. Все конструкции подробно описываются и иллюстрируются большим количеством примеров. Кроме того, для каждого типа запросов рассматриваются отклонения от стандарта в реализации наиболее распространенных СУБД: MS Access, MS SQL Server, Oracle, MySQL и PostgreSQL.

Книга предназначена для первоначального изучения Raspberry PI — одноплатного компьютера размером с банковскую карту. Благодаря простым пошаговым инструкциям юный читатель сможет превратить свою «малинку» и в настоящий медиацентр, и в автосимулятор (с помощью языка Scratch), и в сердце умного дома (программируя на Python и подключая разные датчики). А в конце будет создан настоящий сайт и протестирован на смартфоне.

Книга предоставит вам доступ в мир прогнозной аналитики и продемонстрирует, почему Python является одним из лидирующих языков науки о данных. Охватывая широкий круг мощных библиотек Python, в том числе scikit-learn, Theano и Keras, предлагая руководство и советы по всем вопросам, начиная с анализа мнений и заканчивая нейронными сетями, книга ответит на большинство ваших вопросов по машинному обучению.

Второе издание этой книги дает современное практическое введение в разработку научных приложений на Python, ориентированных на обработку данных. Код переписан под версию Python 3.6, добавлены сведения о последних версиях библиотек pandas, NumPy, IPython и Jupyter. Описаны те части языка Python и библиотеки для него, которые необходимы для эффективного решения широкого круга аналитических задач: интерактивная оболочка IPython и Jupyter-блокноты, библиотеки NumPy и pandas, библиотека для визуализации данных matplotlib и др.

Эта книга — прекрасное руководство по программированию для детей на языке Python средней сложности. Читатели получат базовые знания о языке Python, узнают об объектно-ориентированном программировании, научатся работать с функциями, классами и модулями. Много внимания уделено работе с графикой, созданию анимации и разработке собственной игры.

Книга описывает последние возможности PostgreSQL 11 для построения эффективных и отказоустойчивых приложений. Подробно рассмотрены передовые аспекты PostgreSQL, включая логическую репликацию, кластеры баз данных, оптимизацию производительности, мониторинг и управление пользователями, процесс миграции с Oracle на PostgreSQL.

Среди организаций, работающих с крупными объемами данных на регулярной основе, реляционная система управления базами данных MySQL стала популярным решением по обработке структурированных больших данных. В книге вы познакомитесь с тем, как администраторы баз данных могут использовать MySQL для обработки миллиардов записей и извлечения данных с производительностью, сравнимой или превосходящей коммерческие решения для СУБД с более высокими затратами. Показано, как реализовывать успешную стратегию больших данных с помощью таких технологий, как Apache Hadoop, MapReduce и MySQL Applier. Также книга включает в себя практические примеры использования Apache Sqoop для обработки событий в режиме реального времени.

Эта книга представляет собой исчерпывающее руководство по работе с MongoDB 4.2 — мощной документоориентированной системой управления базами данных. Авторы, внесшие личный вклад в создание и развитие MongoDB, начинают описание системы с самых азов (история создания, базовая терминология) и постепенно переходят к более сложным темам (выполнение запросов, индексация, агрегирование, транзакции, наборы реплик, управление операциями, шардинг и администрирование данных, долговечность, мониторинг и безопасность). Читатель получит конкретные советы по написанию приложения, которое хорошо работает с MongoDB, выяснит, какие системные настройки следует учитывать при ее развертывании и как устанавливать MongoDB в Windows, OS X и Linux.

MongoDB — это документо-ориентированная база данных, предназначенная для гибкой, масштабируемой и очень быстрой работы даже при больших объемах данных. При ее проектировании изначально закладывалась высокая доступность, поддержка сложных динамических схем и простое распределение данных по нескольким серверам. Эта книга представляет собой введение в MongoDB и документо-ориентированную модель данных. Она дает не только общую картину, необходимую разработчику, но и достаточно деталей, чтобы удовлетворить системного инженера. Многочисленные примеры помогут обрести уверенность в области моделирования данных — вопросе, который необычайно важен для разработки ПО. Вам понравится углубленное изложение различных функциональных возможностей, в том числе репликации, автосегментирования и развертывания.

Java Persistence — механизм, помогающий обеспечить сохранность данных после завершения программы, что является главной чертой современных приложений. Hibernate — наиболее популярный инструмент Java для работы с базами данных, предоставляющим автоматическое прозрачное объектно-реляционное отображение, что значительно упрощает работу с SQL-базами данных в приложениях Java. Данная книга описывает разработку приложения с использованием Hibernate, связывая воедино сотни отдельных примеров. Также вы найдете хорошо иллюстрированное обсуждение лучших методик проектирования баз данных и методов оптимизации.

Книга посвящена разработке клиент-серверных приложений баз данных (БД) на платформе системы управления базами данных InterBase (Firebird) и языка программирования Delphi. В ней представлено точное и полное описание инструментария разработчика, так необходимого для создания профессиональных проектов.

Обработка больших массивов данных с помощью традиционных СУБД может оказаться трудным делом. Apache Hadoop — это каркас для разработки приложений, предназначенных для выполнения в распределенном кластере, без применения SQL. Такие приложения прекрасно масштабируются и могут обрабатывать гигантские массивы данных. Если вам требуется произвести анализ данных, то Hadoop — как раз то, что надо. Прочитав эту книгу, вы познакомитесь с предметом и научитесь писать программы в стиле MapReduce. После нескольких простых примеров автор быстро переходит к вопросу об использовании Hadoop для решения более сложных задач анализа данных. Описываются рекомендованные приемы и паттерны проектирования, полезные при программировании для MapReduce. Для чтения книги требуется знание основ языка Java. Некоторое знакомство с математической статистикой поможет разобраться в более сложных примерах.

Из этой книги вы узнаете, как система управления базами данных Cassandra справляется с обработкой сотен терабайтов данных, работая в нескольких ЦОДах и сохраняя высокую доступность. Во втором издании, дополненном и охватывающем версию Cassandra 3.0, вы найдете технические детали и практические примеры, которые помогут запустить эту систему в боевых условиях. Авторы демонстрируют достоинства нереляционного дизайна Cassandra, уделяя особое внимание моделированию данных.

Данное руководство описывает построение и программирование приложений для интернета вещей (IoT). Первая часть книги посвящена экспериментам на популярной платформе Arduino с целью научить читателя основным принципам схемотехники, вторая часть посвящена примерам практической реализации проектов для IoT на базе Raspberry Pi 3, где затрагиваются как сервисы для приложения под ОС Android Things, так и облачные платформы интернета вещей.

В процессе исследования был проведен анализ теоретико-методологической составляющей рассматриваемой темы: исследование структурных характеристик, социальных функций и теоретических подходов к изучению цифрового наследия. Выявлены соответствующие практики деятельности, распространенные на международном и национальном уровнях, проанализировано законодательство ряда стран, регламентирующее создание и сохранение цифрового наследия. Областью применения результатов исследования является совершенствование государственной культурной политики на различных уровнях.

Представлены четыре раздела учебного курса «Методы оптимизации». В каждом разделе изложены необходимые теоретические сведения, рассмотрены реализации алгоритмов численных методов оптимизации на примерах, приведены способы решения или проверки решений в программе Microsoft Excel.

Лабораторный практикум «Автоматизация производственных процессов: теория и практика решения задач прикладной математики» рассматривает предмет и содержание дисциплины «Прикладная математика», ее основные понятия, определения и положения, основные методы и способы решения прикладных задач сельскохозяйственного производства, для большинства из которых приведены примеры их решения на основе использования табличного процессора MS Excel. Так же имеются упражнения для самостоятельного выполнения. Соответствует актуальным требованиям Федерального государственного образовательного стандарта высшего образования по направлению подготовки 23.00.00 «Техника и технологии наземного транспорта».

Учебно-методическое пособие содержит основные положения алгоритмизации и программирования, а также разработки структур баз данных в среде Microsoft Access. Рассмотрены вопросы, связанные с введением в программирование Visual Basic for Applications, который представляет собой унифицированный язык и среду программирования и разработки.

Рассмотрены способы создания приложений для работы с базами данных, методы доступа к базам данных и применяемые в них программные интерфейсы. Также рассматривается интеграция приложений Visual C# с сервером СУБД Microsoft SQL Server 2012.

Предложено использовать динамический словарь как средство расширения стандартных структур данных языка C++. Словарь реализуется как сложная структура данных, представленная в виде класса. Использование в структуре данных статистики слов, которые разбиваются на узлы, позволяет существенно расширить спектр решаемых задач. Подход, при котором данные представляются в виде словаря и для работы с которыми используются функции словарного класса, назван автором «Словарная технология». Дается описание словарных функций и приводятся примеры решаемых на основе словарной технологии задач. Возможности словарной технологии по хранению и доступу к данным использованы для построения модели постреляционной системы управления базами данных. Дается описание постреляционной базы данных и особенностей представления информации. Предлагается язык управления данными, в основе которого лежит словарное представление. Приложения содержат описание функций словарной технологии, сервисных функций, упрощающих работу с данными, функции работы с постреляционной базой данных, язык управления и язык запросов к базе данных. Приводится программный материал по решению разнообразных задач в словарной технологии и перечень примеров по работе с постреляционной базой данных.

Рассмотрены методики, идиомы и приемы решения задач обработки динамических структур данных на языке С++. Подробно описаны вычислительные алгоритмы, реализованные с использованием нотации указателей. Приведены краткие теоретические сведения и примеры приложений по изучаемому материалу. Изложена методика выполнения лабораторных работ по рассматриваемым темам, которая используется авторами в процессе проведения практических занятий в МГТУ им. Н.Э. Баумана.

Рассмотрены требования и рекомендации по курсовому проектированию защищенных систем баз данных.

Даны необходимые пояснения и рекомендации для выполнения курсовой работы по дисциплине «Базы данных».

Рассмотрены теоретические и практические вопросы применения интеллектуальных методов обработки данных с использованием аналитической системы RapidMiner. Приведены примеры решения таких типовых задач научных исследований, как предварительная подготовка данных и заполнение пропусков, классификация и снижение размерности; большое внимание уделено вопросам представления результатов исследований в удобном виде.