Данные.Манипулирование данными. Система управления базами данных (СУБД)

Практикум предназначен для использования при изучении курса «Технологии проектирования информационно-вычислительных систем». Посвящен проектированию информационно-вычислительных систем с использованием нотации моделирования бизнес-процессов BPMN и объектно-ориентированного подхода (с применением методологии UML). Практикум должен способствовать получению студентами навыков в области проектирования информационно-вычислительных систем. В дальнейшем он может быть использован в ходе выполнения ВКР, также может быть полезным преподавателям смежных дисциплин и разработчикам программного обеспечения. Подготовлен на кафедре информационных систем и технологий.

Практикум направлен на получение обучающимися практических навыков в тематических рамках, охватываемых курсом «Теория информации», предназначен для выполнения лабораторных работ по темам «Моделирование случайных величин с заданным законом распределения», «Алгоритмы кодирования информации», «Сжатие информации», «Помехозащитное кодирование». Каждая глава сопровождается примерами, упражнениями и вариантами заданий, направленными на повышение качества усвоения материала. Подготовлено на кафедре информационных систем и технологий.

Учебное пособие посвящено технологиям проектирования, разработки и внедрения баз данных. В пособии рассматриваются основные понятия реляционных баз данных и реляционной алгебры, вопросы проектирования баз данных. Несколько разделов посвящены языку запросов SQL и его использованию для получения и модификации данных, определению объектов баз данных, таких как таблицы, индексы или представления, а также вопросам использования процедурных расширений языка SQL. Кроме того, рассмотрены NoSQL-решения, предназначенные для хранения денормализованных данных, что может быть более эффективным в распределенной среде, а также принципы и программные инструменты обработки больших данных.

Учебное пособие посвящено основам безопасности систем баз данных. В пособии рассматриваются задачи построения защищенной базы данных, которая обеспечивает конфиденциальность, доступность и целостность данных пользователя. Для решения задачи построения защищенной базы данных рассматриваются вопросы, связанные с разграничением доступа к данным, вопросы управления доступом к данным, создания учетных записей и настройки процедуры аутентификации, управления привилегиями. Также рассматриваются вопросы обеспечения доступности данных, создание резервных копий баз данных, настройка репликации данных, балансировки нагрузки, секционирования и сегментирования данных, мониторинга доступности баз данных. Отдельные разделы посвящены аудиту и шифрованию данных, а также SQL-инъекциям. Рассматриваются вопросы обеспечения целостности данных с использованием механизма транзакций и встроенных средств СУБД. Для иллюстрации примеров решения данных задач используются СУБД MySQL, PostgreSQL и MongoDB.

Пособие содержит теоретический материал и практические примеры, касающиеся обеспечения сетевой безопасности на нижних уровнях сетевой модели OSI – физическом, канальном и сетевом. В приложении приведены рекомендации по подготовке к выполнению лабораторного практикума по курсу.

Учебно-методическое пособие содержит основные сведения для практических занятий и выполнения компьютерных практикумов. Приведены примеры решений задач.

Описаны основные функции и конструкции языка SQL. Приведены примеры их использования при формировании запросов различной степени сложности. Предложен ряд упражнений для закрепления материала пособия.

Учебное пособие отражает разнообразие способов анализа качественных данных — интервью, наблюдений, фотографий, онлайн-сообщений и проч. Практикующие социальные исследователи рассказывают о принципах работы и личном опыте применения таких методов, как нарративный, тематический, сетевой анализ, дискурс-анализ, обоснованная теория, качественный контент-анализ, текст-майнинг. Книга состоит из трех взаимосвязанных разделов. В первом разделе читателю предлагается разобраться в специфике качественного анализа данных и сориентироваться в сложившемся методическом ландшафте. Во втором разделе авторы показывают особенности кодирования и обработки данных, демонстрируют специфику работы с различным программным обеспечением — ATLAS.ti, NVivo, Dedoose, Python и проч. В третьем разделе рассказывается о том, в каких форматах можно представить результаты качественного исследования. Каждая глава содержит объяснение ключевых понятий и одновременно показывает примеры и возможные алгоритмы работы с данными.

В книге рассматривается внутреннее устройство СУБД PostgreSQL: детали реализации многоверсионности и изоляции на основе снимков данных, включая процедуру очистки неактуальных версий строк; буферный кеш и журнал предзаписи; использование блокировок различных уровней; планирование и выполнение SQL-запросов; принципы расширяемости и особенности имеющихся индексных методов доступа. Большое внимание уделяется возможностям, предоставляемым для самостоятельного изучения механизмов функционирования PostgreSQL. В настоящем издании учтены замечания читателей и исправлены опечатки, а также отражены изменения, произошедшие в версии PostgreSQL 15.

Перед вами авторитетный справочник по переформатированию, очистке и обработке наборов данных на Python. Третье издание, переработанное с учетом версий Python 3.10 и pandas 1.4, содержит практические примеры, демонстрирующие эффективное решение широкого круга задач анализа данных. По ходу дела вы узнаете о последних версиях pandas, NumPy и Jupyter.

R — золотой стандарт, ежедневно используемый исследователями по всему миру для самых разных вычислений и статистического анализа данных. Этот свободно распространяемый язык с открытым исходным кодом включает огромное количество пакетов самой разной направленности, от расширенной визуализации данных до глубокого обучения. Чрезвычайно удобный для пользователей с математическим складом ума, R легко решает практические задачи, не заставляя думать о них с точки зрения программиста. Данная книга научит вас выполнять статистический анализ и визуализировать результаты с помощью R и его популярных пакетов; решать такие практические задачи, как прогнозирование, интеллектуальный анализ данных и разработка динамических отчетов. В третье издание добавлены новые сведения о построении диаграмм с помощью пакета ggplot2, а также приводятся примеры из области машинного обучения, такие как кластеризация, классификация и анализ временных рядов.

В учебном пособии обсуждаются практические аспекты работы с реляционными базами данных, которые представляют собой структурированные хранилища данных, организованные и управляемые на основе реляционной модели. Подчеркивается важность таких хранилищ как неотъемлемых структурных элементов современных информационных систем. Обсуждаются аспекты взаимодействия пользователей и программистов с реляционными базами данных средствами языка структурированных запросов SQL (Structured Query Language). Пособие включает тематические подборки задач, организованные в виде лабораторных работ. Задания лабораторных работ следуют в порядке возрастания сложности и требуют предварительного изучения соответствующего теоретического материала.

В книге рассказывается о специфике работы служб эксплуатации центров обработки данных и о людях, которые занимаются жизнеобеспечением всех систем этих центров. Именно от нескольких человек, находящихся в ночь с субботы на воскресенье на площадке, полностью зависит работа крупного банка, заказ еды или такси, доставка сообщений в мессенджерах, прогноз погоды... Трудно даже примерно оценить тот объем информационного потока, который проходит через датацентры. Именно службе эксплуатации посвящены страницы данной книги.

Рассмотрены основные приемы работы с базами данных при использовании языка запросов SQL и основы web-программирования. Описывается взаимодействие серверных скриптов с СУБД с использованием языка запросов SQL.

Учебное пособие содержит теоретические материалы, контрольные вопросы и практические задания. В учебном пособии рассмотрены предмет и основные понятия управления информационными ресурсами, виды и этапы информационного обслуживания, основные характеристики управления информационными ресурсами, деятельность российских и зарубежных информационных агентств в сфере финансовой и коммерческой информации, особенности поиска информации в сети Интернет и профессиональных базах данных, а также процесс управления контентом и особенности работы с ним на примере визуального контента. Пособие составлено на основе Федерального государственного стандарта высшего образования по направлению «Бизнес-информатика», требований законодательства в сфере профессионального образования и локальных нормативных актов вуза.

Учебное пособие учитывает опыт работы авторов в области проектирования информационных систем. Пособие соответствует ООП по направлениям 09.04.03 «Прикладная информатика» и 09.03.01 «Информатика и вычислительная техника». Уровень подготовки – бакалавриат и магистратура. Материалы учебного пособия могут быть использованы студентами других специальностей, а также широким кругом специалистов, занимающихся вопросами разработки и использования автоматизированных информационных систем.

В учебном пособии рассматриваются теоретические основы интеллектуального анализа данных. Дается общее представление о современных инструментах обработки больших данных и приводятся примеры их практического применения. Учебное пособие построено с учетом требований к специалистам в области информатики.

В учебном пособии изложен теоретический материал, который применяется при решении задач хранения и обработки данных в системах кодирования и передачи информации, а также при решении аналогичных задач во время разработки программного обеспечения высокого уровня. Приведено описание трех практических заданий, в ходе выполнения которых можно получить навыки программирования коллекций данных.

В учебном пособии представлены современные тенденции в области организации хранения данных в информационных системах различного назначения и масштаба, а также рассмотрены перспективные инструменты и технологии реализации баз данных. Материалы учебного пособия могут быть использованы студентами, обучающимися по направлениям, охватывающим такие области профессиональной деятельности, как автоматизированные системы обработки информации и управления; исследование, разработка, внедрение и сопровождение информационных систем и технологий; системный анализ прикладной области, формализация решения прикладных задач и процессов информационных систем, а также широким кругом специалистов, занимающихся проблемами автоматизации управления организациями.

В третьей части лекций рассмотрены вопросы управления транзакциями (транзакции и целостность базы данных, транзакции и параллелизм, различные методы управления транзакциями в СУБД), современные решения по работе с базами данных, включая использование хранимых процедур и триггеров на различных платформах (СУБД Informix, Oracle, PostgreSql), принципы построения систем, ориентированных на анализ данных, различные технологии анализа данных. Учебное пособие широко иллюстрировано примерами, способствующими успешному усвоению материала.

Излагается опыт автоматизации применения рубрикаторов, которые лежат в основе классификации документальных ресурсов и в информационной технологии становятся важным инструментом навигации по реферативным и полнотекстовым базам данных.

В Вестнике РосНОУ (Серия: Сложные системы: модели, анализ и управление) подлежат публикации материалы, содержащие результаты теоретических и прикладных научных исследований, соответствующие темам выпусков. Вестник РосНОУ предназначается для профессорско-преподавательского состава высших учебных заведений, научных работников, специалистов-практиков, аспирантов и студентов.

В пособии описываются компоненты и функциональные возможности современных систем управления базами данных, рассматриваются: устройство индексов, оптимизатора запросов, системы безопасности, вопросы резервного копирования и восстановления.

Учебник предназначен для изучения информатики на базовом и углублённом уровнях в 11 классах общеобразовательных организаций. Содержание учебника является продолжением курса 10 класса и опирается на изученный в 7–9 классах курс информатики для основной школы. Рассматриваются вопросы передачи информации, базы данных, разработка веб-сайтов, компьютерное моделирование, алгоритмизация и программирование, методы объектно-ориентированного программирования, компьютерная графика и анимация. Учебник входит в учебно-методический комплект, включающий также учебник для 10 класса, методическое пособие и задачник. Соответствует Федеральному государственному образовательному стандарту среднего общего образования и Примерной основной образовательной программе среднего общего образования.

В книге представлено подробное описание распределенных и параллельных баз данных с учетом новейших технологий. Авторы затрагивают такие темы, как проектирование распределенных и параллельных БД, контроль распределенных данных, распределенная обработка запросов и транзакций, интеграция баз данных. Отдельная глава посвящена обработке больших данных (в частности, обсуждаются распределенные системы хранения, потоковая обработка данных, платформы MapReduce и Spark, анализ графов и озера данных). Обработка веб-данных рассматривается с акцентом на технологию RDF, получившую широкое распространение. В конце глав 2–12 приводятся упражнения, позволяющие закрепить теоретический материал. На сопроводительном сайте читатели найдут информацию об основах реляционных баз данных, обработке запросов, управлении транзакциями и компьютерных сетях. Кроме того, на сайте выложены все рисунки к книге, слайды и решения упражнений (только для преподавателей). Издание может использоваться в качестве учебника для студентов и магистрантов, изучающих информатику и смежные дисциплины, а также заинтересует всех, кто занимается компьютерными науками.

Применение машинного обучения для лучшего понимания природы данных — умение, необходимое любому современному разработчику программ или аналитику. Python — замечательный язык для создания приложений машинного обучения. Благодаря своей динамичности он позволяет быстро производить разведочный анализ данных и экспериментировать с ними. Обладая первоклассным набором библиотек машинного обучения с открытым исходным кодом, Python дает возможность сосредоточиться на решаемой задаче и в то же время опробовать различные идеи. Книга начинается с краткого введения в предмет машинного обучения и знакомства с библиотеками NumPy, SciPy, scikit-learn. Но довольно быстро авторы переходят к более серьезным проектам с реальными наборами данных, в частности, тематическому моделированию, анализу корзины покупок, облачным вычислениям и др.

В книге рассматриваются актуальные вопросы защиты данных при создании распределенных информационных систем масштаба предприятия, приводятся подробные описания принципов применения современных криптографических средств, имеющихся на рынке («Криптон», «Верба», «Шип», «Игла» и др.). Значительное место уделяется проблемам сохранения тайны при финансовых обменах через Internet, а также электронной коммерции. Завершают книгу приложения, посвященные практическим рекомендациям по самым острым вопросам обеспечения защиты информации.

Объем обрабатываемых данных во всех областях человеческой деятельности продолжает расти быстрыми темпами. Существуют ли эффективные приемы работы с ним? В этой книге рассказывается об Apache Spark, открытой системе кластерных вычислений, которая позволяет быстро создавать высокопроизводительные программы анализа данных. C помощью Spark вы сможете манипулировать огромными объемами данных посредством простого API на Python, Java и Scala. Написанная разработчиками Spark, эта книга поможет исследователям данных и программистам быстро включиться в работу. Она рассказывает, как организовать параллельное выполнение заданий всего несколькими строчками кода, и охватывает примеры от простых пакетных приложений до программ, осуществляющих обработку потоковых данных и использующих алгоритмы машинного обучения.

Данные должны приносить пользу бизнесу. А их грамотная подача — повышать профессиональную ценность специалистов. Книга «Заставьте данные говорить» написана, чтобы вы добились и того и другого. Это простое практическое пособие по созданию интерактивных дашбордов в Excel поможет тем, кто готовит отчеты и превращает сырые данные в информацию для принятия решений. Специальной подготовки не требуется — материал изложен понятно даже для начинающих. После выполнения пошаговых инструкций у вас будет несколько версий управленческого отчета. Все полученные навыки пригодятся для самостоятельной разработки дашбордов. Правила выбора диаграмм, советы и лайфхаки от практика сделают ваши данные информативными, а визуализацию — профессиональной.

У принцессы Руруны и Кейна возникла проблема: в их торгующей фруктами империи царит неразбериха из-за противоречивых данных, и поэтому дыни подменяются яблоками и клубникой, что вызывает большие трудности в работе. И что же им делать? Конечно же, построить реляционную базу данных, и поможет им в этом Тико, чудесная фея баз данных. Она покажет Руруне и Кейну, как создать базу данных, которая поможет управлять продажами, реализацией товара и его экспортом. Вы узнаете, как работает база данных, и поймёте значение таких терминов, как схемы, ключи, нормализация и транзакции. Если у вас голова идёт кругом, когда речь заходит о базах данных, или же вы просто заплутали в лабиринте чисел и данных, которые, как вам кажется, неподвластны контролю, присоединяйтесь к Руруне и Кейну.

Из книги вы узнаете, как проектировать и реализовывать приложения, основанные на графовых базах данных, привносящих мощь графов в широкий круг прикладных областей. Если вам необходимо уменьшить время выполнения запросов пользователей или создать базу данных, способную приспосабливаться под быстро развивающийся бизнес, эта книга продемонстрирует вам практическое применение графовых моделей. Второе издание книги содержит обновленные примеры кода и схемы, соответствующие актуальному синтаксису графовой базы данных Neo4j, а также информацию о новом функционале Neo4j.

В этой книге представлены полезные методики программирования, имеющие практическую ценность. Опираясь на свой многолетний опыт, авторы показывают, как написать надежный код, который смогут читать другие разработчики. Основной принцип обучения — составление плана решения: от определения структур данных по условиям поставленной задачи через примеры и тесты к написанию программного кода. Обсуждаются типичные ошибки программистов. Многочисленные примеры и упражнения позволяют читателям самостоятельно закрепить изученный материал на практике.

Эта книга написана ведущими специалистами в области технологий баз данных и веба. Благодаря популярности интернет-торговли появилось много чрезвычайно объемных баз данных, для извлечения информации из которых нужно применять методы добычи данных (data mining). В книге описываются алгоритмы, которые реально использовались для решения важнейших задач добычи данных и могут быть с успехом применены даже к очень большим наборам данных. Изложение начинается с рассмотрения технологии MapReduce — важного средства распараллеливания алгоритмов. Излагаются алгоритмы хэширования с учетом близости и потоковой обработки данных, которые поступают слишком быстро для тщательного анализа. В последующих главах рассматривается идея показателя PageRank, нахождение частых предметных наборов и кластеризация. Во второе издание включен дополнительный материал о социальных сетях, машинном обучении и понижении размерности.

Эта книга поможет вам начать работу с миниатюрным и быстрым микроконтроллером Pico и использовать его возможности для разработки инновационных продуктов. Вы узнаете о периферийных устройствах микроконтроллера, а также о разновидностях плат Pico, разработанных и изготовленных различными производителями, затем освоите практические навыки на ряде проектов — начиная с мигающего светодиода и заканчивая большим семисегментным дисплеем.

Не тратьте зря времени, пытаясь подогнать Python под способы программирования, знакомые вам по другим языкам. Python настолько прост, что вы очень быстро станете продуктивным программистом, но зачастую это означает, что вы не в полной мере используете то, что может предложить язык. Второе издание книги позволит вам писать более эффективный и современный код на Python 3, обратив себе на пользу лучшие идеи. Издание предназначено практикующим программистам на Python, которыехотят усовершенствоваться в Python 3.

MongoDB — это документо-ориентированная база данных, предназначенная для гибкой, масштабируемой и очень быстрой работы даже при больших объемах данных. При ее проектировании изначально закладывалась высокая доступность, поддержка сложных динамических схем и простое распределение данных по нескольким серверам. Эта книга представляет собой введение в MongoDB и документо-ориентированную модель данных. Она дает не только общую картину, необходимую разработчику, но и достаточно деталей, чтобы удовлетворить системного инженера. Многочисленные примеры помогут обрести уверенность в области моделирования данных — вопросе, который необычайно важен для разработки ПО. Вам понравится углубленное изложение различных функциональных возможностей, в том числе репликации, автосегментирования и развертывания.

Книга посвящена разработке клиент-серверных приложений баз данных (БД) на платформе системы управления базами данных InterBase (Firebird) и языка программирования Delphi. В ней представлено точное и полное описание инструментария разработчика, так необходимого для создания профессиональных проектов.

На основе аналитического обзора нормативно-технической документации и литературных источников изложен теоретический материал по алгоритмизации и проектированию структур данных в прикладном программировании, даны методические указания по выполнению расчетно-графической и лабораторных работ.

В учебно-методическом пособии содержатся указания к компьютерным практикумам по дисциплине «Операционные системы и базы данных», приводятся примеры выполнения заданий в рамках проектирования и создания электронных баз данных, разработки .bat-файлов. Представлены списки практических заданий.

Пособие посвящено рассмотрению подходов к разработке экспертной системы принятия решений для медицинских целей, с использованием больших данных для формирования требований к системе самодиагностики и оказания первой помощи. Практический аспект включает проектирование структуры БД диагнозов и разработку алгоритмы взаимодействия с ней, а так же разработку прототипа интерфейса администратора системы.

Пособие посвящено рассмотрению теоретических подходов к извлечению информации из текстов, рассмотрению и систематизации прогностических методов и моделей в маркетинге и интернет-рекламе, на основе выборки больших данных. В данном пособии рассмотрено применение машинного обучения при построении рекомендательных систем.

Представлены основные методы реализации численных методов при решении различных математических задач: нахождение корней уравнений, поиск экстремумов функций, интегрирование и дифференцирование функций и решение дифференциальных уравнений и их систем. Показаны способы реализации этих методов в среде MS Excel как средствами пакета, так и с использованием приемов программирования в VBA for Excel.

Рассмотрены возможности языка программирования Python в области программирования и решения задач вычислительной математики, таких как аппроксимация и интерполяция, численное интегрирование, оптимизация, решение уравнений и систем уравнений. Приведен теоретический материал и примеры решения задач. Для оценки уровня усвоения студентами пройденного материала предложены варианты самостоятельных работ.

Рассмотрены основы анализа и обработки данных в Python с использованием библиотеки Pandas. Приведены примеры работы с объектами Series и Data-Frame: осуществление доступа к данным, внесение изменений в DataFrame, визуализация полученных результатов, а также сортировка, фильтрация и группировка данных. Для оценки уровня усвоения студентами пройденного материала предложены варианты самостоятельных работ.

В настоящую работу включены лекции по классическим разделам курса: языки манипулирования реляционной моделью данных (язык реляционной алгебры, язык реляционного исчисления), правила написания SQL-запросов и их оптимизация, распределенные базы данных. Они помогут сформировать у студентов системное представление о реляционной модели данных и в то же время имеют прикладную ценность.

В монографии дана характеристика ключевых научно-технических направлений, которые оказывают наиболее существенное влияние на развитие цифровой среды: большие данные, искусственный интеллект, системы распределенного реестра (блокчейн), промышленный интернет, компоненты робототехники, технологии мобильной и спутниковой связи, извлечение знаний. Представлены сферы применения цифровых технологий, сопряженные с наибольшими рисками: цифровая медицина, цифровое управление городом, цифровая логистика, электронная коммерция, Индустрия 4.0, социальные сети и медиа, цифровое управление рабочим пространством и умные дома. Описаны базовые понятия информационной безопасности и основные подходы к технической обусловленности возникновения рисков при процессах цифровизации. Особое внимание уделено анализу преступлений в компьютерной сфере, предусмотренных гл. 28 УК РФ, что приводит к выводу о необходимости пересмотра терминологии УК РФ с целью адекватного парирования существующих угроз в сфере компьютерной информации. Законодательство приведено по состоянию на февраль 2022 г.

Стремительный рост объема разнородной информации, формируемой в виртуальной среде, привел к возникновению феномена, известного как «большие данные» (Big Data). Данные становятся сегодня основным ресурсом для повышения эффективности и производительности практически всех отраслей современной экономики. Ценность больших данных актуализирует вопрос о возможности и целесообразности охраны этих данных, защиты тех ресурсов, которые были затрачены на их сбор и обработку. Особенностью российского и зарубежного законодательства является возможность правовой охраны больших массивов данных смежным правом на базы данных, которое, не вводя правовой охраны данных как таковых (отдельных материалов, элементов содержания базы данных), устанавливает правовой режим использования всей совокупности данных, составляющих содержание баз данных. Не менее важным является вопрос о защите самих данных, которые, будучи весьма разнородными, могут охраняться государством по-разному. Настоящая монография посвящена в первую очередь исследованию вопроса о том, что же в целом понимается под условным термином «большие данные», какое в этой сфере существует регулирование и в каком направлении следует задуматься о его совершенствовании. Отдельно проводится анализ правового регулирования баз данных в России и за рубежом тех возможностей, которые правовая охрана баз данных предоставляет при работе с Big Data. Правовой режим данных как таковых рассматривается на примере защиты персональных данных, поскольку обработка больших данных открывает невиданные прежде возможности вмешательства в частную жизнь, неприкосновенность которой гарантирована ст. 23 Конституции Российской Федерации. Законодательство приведено по состоянию на 1 декабря 2021 г.

В книге описываются методики и приемы юзабилити-тестирования – процедуры оценки разнообразных продуктов (будь то устройства, сайты, мобильные приложения и т. д.) с точки зрения легкости и удобства их использования. В начальных главах читатель узнает о принципах тестирования, выборе оборудования и места для его проведения. Отдельная глава посвящена изучению пользовательских потребностей. Наконец, подробно рассказывается о том, как спланировать и провести юзабилити-тест, а затем проанализировать его результаты.

Книга поможет вам писать запросы, которые выполняются быстро и вовремя доставляют результаты. Вы научитесь смотреть на процесс написания запроса с точки зрения механизма базы данных и начнете думать, как оптимизатор базы данных. Объясняется, как читать и понимать планы выполнения запросов, какие существуют методы воздействия на них с точки зрения оптимизации производительности, и показано, как эти методы используются вместе для создания эффективных приложений.

Цель данной книги – дать общее представление о технической структуре и архитектуре сети интернет. Подробно описываются разные уровни сетевой модели TCP/IP (канальный, сетевой, транспортный и прикладной); особое внимание уделяется безопасности транспортного уровня. Рассмотрена система доменных имен. В заключительной главе представлена семиуровневая модель взаимодействия открытых систем (OSI) в сравнении с моделью TCP/IP. В конце каждой главы приводятся глоссарий по теме и контрольные вопросы, позволяющие читателям проверить свои знания.