Данные.Манипулирование данными. Система управления базами данных (СУБД)

Постановка проблемы: одной из важных проблем в области управления данными является их неполное (нечеткое) дублирование, ведущее к снижению качества, в частности к ошибочной интерпретации информационной системой одного и того же объекта как нескольких разных. Реляционная модель данных, а также промышленные СУБД на осно- ве реляционной модели, позволяют исключить ситуации полного дублирования данных, но не имеют механизмов для распознавания и предотвращения появления нечетких дубликатов. Целью работы является разработка такого способа обнаружения нечетких дубликатов, который мог бы быть реализован в реляционной модели данных и промышленной реляционной СУБД. Результаты: рассмотрена общая для информационных систем проблема нечеткого дублирования, предложены пути внесения смысловой дублирующей информации в реляционную базу данных. Определено, что для решения проблемы неполного дублирования следует использовать механизмы нечеткого сравнения строк с учетом их семантики. Приведен пример практической реализации способа для СУБД PostgreSQL с использованием реляционных механизмов обработки данных. Практическая значимость: разработанный способ позволяет автоматически обнару- живать дубликаты, исключив вмешательство человека-оператора, и тем самым повысить качество данных информаци- онной системы. Пример практической реализации для промышленной СУБД позволяет непосредственно использовать предложенный способ в инженерной практике разработки информационных систем. Данный способ также был исполь- зован авторами при разработке коммерческой автоматизированной информационной системы.

Рассмотрены способы создания приложений для работы с базами данных, методы доступа к базам данных и применяемые в них программные интерфейсы. Также рассматривается интеграция приложений Visual C# с сервером СУБД Microsoft SQL Server 2012.

Учебное пособие учитывает опыт работы авторов в области проектирования информационных систем. Пособие соответствует ООП по направлениям 09.04.03 «Прикладная информатика» и 09.03.01 «Информатика и вычислительная техника». Уровень подготовки – бакалавриат и магистратура. Материалы учебного пособия могут быть использованы студентами других специальностей, а также широким кругом специалистов, занимающихся вопросами разработки и использования автоматизированных информационных систем.

Рассмотрена проблема формирования систем реального времени с гарантированной доступностью ресурсов. Предложены модели использования программно-информационных ресурсов с учетом ресурсной базы и ограничений на время исполнения. Описаны методика и алгоритмы формирования вектора временной развертки для кластерных структур распределенных архитектур систем реального времени, учитывающие занятость ресурсов.

Методическая разработка предназначена для выполнения курсовой работы «База данных электронной техники» и способствует углубленному изучению работы со связанными списками данных в MS Excel, приобретению базовых знаний и практических навыков работы с системой управления базами данных MS Access и получению практических навыков работы в сети Internet.

Рассматриваются вопросы анализа данных. Приводятся некоторые из основополагающих методик анализа данных, такие как: регрессионный анализ, корреляция, дисперсионный анализ и др. Отражены вопросы интеллектуального анализа данных, с помощью которого можно выявить ранее неизвестные, нетривиальные закономерности в данных.

Эта книга призвана способствовать формированию у читателя общего кругозора в области современных информационных систем, представлений о важнейших информационных технологиях, на которых они базируются, об их главных достижениях и современном состоянии, о перспективах дальнейшего развития. В книге рассматриваются общие свойства информационных систем, обсуждаются состояние и перспективы развития технологий баз данных, текстового поиска, а также Web-технологий. Особое внимание уделяется новым архитектурным подходам, вопросам моделирования предметной области, проблемам интеграции информационных ресурсов, возможностям технологической платформы Web нового поколения, основанной на языке XML.

В настоящую работу включены лекции по классическим разделам курса: языки манипулирования реляционной моделью данных (язык реляционной алгебры, язык реляционного исчисления), правила написания SQL-запросов и их оптимизация, распределенные базы данных. Они помогут сформировать у студентов системное представление о реляционной модели данных и в то же время имеют прикладную ценность.

Данное пособие предназначено в первую очередь для преподавателей и студентов и ориентировано на обучение основам проектирования информационных систем с базами данных.

Практикум предназначен для использования при изучении курса «Технологии проектирования информационно-вычислительных систем». Посвящен проектированию информационно-вычислительных систем с использованием нотации моделирования бизнес-процессов BPMN и объектно-ориентированного подхода (с применением методологии UML). Практикум должен способствовать получению студентами навыков в области проектирования информационно-вычислительных систем. В дальнейшем он может быть использован в ходе выполнения ВКР, также может быть полезным преподавателям смежных дисциплин и разработчикам программного обеспечения. Подготовлен на кафедре информационных систем и технологий.

Данное учебное пособие посвящено одному из важных и сложных результатов интеллектуальной деятельности – базе данных. Рассматриваются понятие баз данных, их виды, варианты охраны. Анализируется охрана баз данных в рамках как авторского права, так и смежных прав, существующая в Российской Федерации и других странах. Особое внимание уделено порядку распоряжения правом на базу данных, а также защите прав на базы данных. Отдельно рассматриваются особенности создания и использования баз данных в информационно-телекоммуникационных сетях, базы данных, содержащие персональные данные, некоммерческие базы данных, а также государственные базы данных и базы данных, созданные при государственной поддержке.

Рассматриваются принципы и механизмы обработки данных и знаний в информационных системах. Подробно описаны все этапы проектирования баз данных, требования к реляционным СУБД и перспективы их развития.

Пособие посвящено рассмотрению теоретических подходов к извлечению информации из текстов, рассмотрению и систематизации прогностических методов и моделей в маркетинге и интернет-рекламе, на основе выборки больших данных. В данном пособии рассмотрено применение машинного обучения при построении рекомендательных систем.

В учебном пособии рассмотрены особенности архитектуры баз данных и моделей данных в нефтегазовой геологии. Подробно изложены средства работы с базами данных в среде Paradox (V 9.0), а именно особенности создания баз данных в геологической отрасли знаний и извлечения и преобразования информации геологом-нефтяником при решении геологических задач. Излагаемые способы работы с объёмной геологической информацией проиллюстрированы на примере учебных баз данных.

Рассмотрены средства проектирования основных объектов баз данных на основе системы управления базами данных Access. Описаны альтернативные способы построения таблиц, запросов, форм, отчетов, макросов в среде Access. Даны рекомендации по использованию средств проектирования баз данных в процессе решения реальных задач. Содержание учебного пособия соответствует разделу курса лекций, которые авторы читают в МГТУ им. Н.Э. Баумана, а также лабораторным и курсовым работам.

В пособии рассматриваются технологические приемы, позволяющие выполнить ряд практических заданий по работе с базами данных в среде популярной СУБД Microsoft SQL Server. Пособие может быть рекомендовано в качестве методического руководства на семинарских занятиях и при подготовке к сдаче зачетов и экзаменов по курсам, связанным с базами данных.

Эта книга написана ведущими специалистами в области технологий баз данных и веба. Благодаря популярности интернет-торговли появилось много чрезвычайно объемных баз данных, для извлечения информации из которых нужно применять методы добычи данных (data mining). В книге описываются алгоритмы, которые реально использовались для решения важнейших задач добычи данных и могут быть с успехом применены даже к очень большим наборам данных. Изложение начинается с рассмотрения технологии MapReduce — важного средства распараллеливания алгоритмов. Излагаются алгоритмы хэширования с учетом близости и потоковой обработки данных, которые поступают слишком быстро для тщательного анализа. В последующих главах рассматривается идея показателя PageRank, нахождение частых предметных наборов и кластеризация. Во второе издание включен дополнительный материал о социальных сетях, машинном обучении и понижении размерности.

Эта книга написана ведущими специалистами в области технологий баз данных и веба. Благодаря популярности интернет-торговли появилось много чрезвычайно объемных баз данных, для извлечения информации из которых нужно применять методы добычи данных (data mining). В книге описываются алгоритмы, которые реально использовались для решения важнейших задач добычи данных и могут быть с успехом применены даже к очень большим наборам данных. Изложение начинается с рассмотрения технологии MapReduce — важного средства распараллеливания алгоритмов. Излагаются алгоритмы хэширования с учетом близости и потоковой обработки данных, которые поступают слишком быстро для тщательного анализа. В последующих главах рассматривается идея показателя PageRank, нахождение частых предметных наборов и кластеризация. Во второе издание включен дополнительный материал о социальных сетях, машинном обучении и понижении размерности.

Не тратьте зря времени, пытаясь подогнать Python под способы программирования, знакомые вам по другим языкам. Python настолько прост, что вы очень быстро станете продуктивным программистом, но зачастую это означает, что вы не в полной мере используете то, что может предложить язык. Второе издание книги позволит вам писать более эффективный и современный код на Python 3, обратив себе на пользу лучшие идеи. Издание предназначено практикующим программистам на Python, которыехотят усовершенствоваться в Python 3.

Предложено использовать динамический словарь как средство расширения стандартных структур данных языка C++. Словарь реализуется как сложная структура данных, представленная в виде класса. Использование в структуре данных статистики слов, которые разбиваются на узлы, позволяет существенно расширить спектр решаемых задач. Подход, при котором данные представляются в виде словаря и для работы с которыми используются функции словарного класса, назван автором «Словарная технология». Дается описание словарных функций и приводятся примеры решаемых на основе словарной технологии задач. Возможности словарной технологии по хранению и доступу к данным использованы для построения модели постреляционной системы управления базами данных. Дается описание постреляционной базы данных и особенностей представления информации. Предлагается язык управления данными, в основе которого лежит словарное представление. Приложения содержат описание функций словарной технологии, сервисных функций, упрощающих работу с данными, функции работы с постреляционной базой данных, язык управления и язык запросов к базе данных. Приводится программный материал по решению разнообразных задач в словарной технологии и перечень примеров по работе с постреляционной базой данных.

Учебное пособие написано с учетом системного подхода к рассмотрению современного состояния информационных технологий в экономике и содержит цикл лекций по одноименной дисциплине, которую автор преподает в Академии экономической безопасности МВД России и ряде других вузов Москвы. Материал пособия посвящен прежде всего принципам использования информационных систем в профессиональной деятельности специалистов экономического профиля и тенденциям применения соответствующих программных продуктов в реальных экономических условиях в различных предметных областях.

Книга предоставит вам доступ в мир прогнозной аналитики и продемонстрирует, почему Python является одним из лидирующих языков науки о данных. Охватывая широкий круг мощных библиотек Python, в том числе scikit-learn, Theano и Keras, предлагая руководство и советы по всем вопросам, начиная с анализа мнений и заканчивая нейронными сетями, книга ответит на большинство ваших вопросов по машинному обучению.

Главная задача настоящей книги состоит в том, чтобы предоставить способы применения мощных методов машинного обучения с открытым исходным кодом в крупномасштабных проектах без привлечения дорогостоящих корпоративных решений или больших вычислительных кластеров. Описаны масштабируемое обучение в Scikit-learn, нейронные сети и глубокое обучение с использованием Theano, H2O и TensorFlow. Рассмотрены классификационные и регрессионные деревья, а также обучение без учителя. Охвачены эффективные методы машинного обучения в вычислительной среде MapReduce на платформах Hadoop и Spark на языке Python.

Второе издание этой книги дает современное практическое введение в разработку научных приложений на Python, ориентированных на обработку данных. Код переписан под версию Python 3.6, добавлены сведения о последних версиях библиотек pandas, NumPy, IPython и Jupyter. Описаны те части языка Python и библиотеки для него, которые необходимы для эффективного решения широкого круга аналитических задач: интерактивная оболочка IPython и Jupyter-блокноты, библиотеки NumPy и pandas, библиотека для визуализации данных matplotlib и др.

Перед вами авторитетный справочник по переформатированию, очистке и обработке наборов данных на Python. Третье издание, переработанное с учетом версий Python 3.10 и pandas 1.4, содержит практические примеры, демонстрирующие эффективное решение широкого круга задач анализа данных. По ходу дела вы узнаете о последних версиях pandas, NumPy и Jupyter.