Файл: Информация в материальном мире (Понятия и сущность данных).pdf

Термин «графовые данные» может сбить с толку, потому что любые данные могут быть представлены в виде графа. Под «графом» в данном случае имеется в виду понятие графа из математической теории графов — математическая структура для моделирования попарных отношений между объектами. Вкратце, в графовых, или сетевых, данных особое внимание уделяется связям или смежности объектов.

Графовые структуры данных используют узлы, ребра и свойства для представления и хранения графических данных. Графовые данные естественным образом подходят для представления социальных сетей, а их структура позволяет вычислять такие специфические метрики, как влияние участников и кратчайший путь между двумя людьми.

Примеры графовых данных встречаются на многих веб-сайтах социальных сетей. Например, в LinkedIn можно увидеть, кого вы знаете в той или иной компании. Ваш список читателей в Твиттере также является примером графовых данных.

Сила и мощь связанных данных проявляется при анализе нескольких перекрывающихся графов, построенных на одних и тех же узлах. Например, представьте, что ребра обозначают «друзей» на Facebook. А теперь возьмем другой граф с теми же людьми, но связывающий коллег по бизнесу через LinkedIn, и третий граф, основанный на интересе к фильмам на Netflix. Наложение этих трех графов позволит получить ответы на многие интересные вопросы.^[6]

Для хранения графовых данных используются графовые базы данных, а для построения запросов к ним — такие специализированные языки запросов, как SPARQL.

Работа с графовыми данными создает специфические проблемы, причем для компьютера эта задача становится еще сложнее.
Аудио, видео и графика — типы данных, ставящие непростые задачи перед специалистом data science. Задачи, тривиальные с точки зрения человека (например, распознавание объекта на картинке), оказываются сложными для компьютера.

В 2014 году компания MLBAM (Major League Baseball Advanced Media) объявила, что объем записываемых видеоматериалов для одного бейсбольного матча будет увеличен приблизительно до 7 Тбайт с целью проведения оперативного анализа. Высокоскоростные камеры на стадионах записывают движения мяча и спортсменов для того, например, чтобы вычислять в реальном времени траекторию движения защитника.

Недавно компании DeepMind удалось создать алгоритм, который способен обучаться играть в видеоигры. Алгоритм получает на входе содержимое экрана и учится интерпретировать эти данные в сложном процессе глубокого обучения.

Это замечательное достижение, и компания Google приобрела DeepMind для разработки искусственного интеллекта. Алгоритм обучения получает данные, генерируемые компьютерной игрой, т. е. потоковые данные.

Потоковые данные могут принимать почти любую из перечисленных форм, однако у них имеется одно дополнительное свойство. Данные поступают в систему при возникновении некоторых событий, а не загружаются в хранилище данных большими массивами. И хотя формально они не являются отдельной разновидностью данных, мы выделяем их в особую категорию, потому что вам придется приспособить свой рабочий процесс для работы с потоковой информацией.^[7]

Примерами потоковых данных могут служить раздел «Что происходит?» в Твиттере, прямые трансляции спортивных и музыкальных мероприятий и данные биржевых котировок.

1.2 Основные структуры данных

Работа с большими наборами данных автоматизируется проще, когда данные упорядочены, то есть образуют заданную структуру. Существует три основных типа структур данных: линейная, табличная и иерархическая. При создании любой структуры данных необходимо обеспечить решение двух задач: как разделять элементы данных между собой и как разыскивать нужные элементы.

• Линейные структуры – это хорошо знакомые списки. Список – это простейшая структура данных, отличающаяся тем, что каждый элемент данных однозначно определяется своим уникальным номером всписке.

Табличные структуры данных подразделяются на двумерные и многомерные.

• Двумерные табличные структуры данных (матрицы) – это упорядоченные структуры, в которых адрес элемента определяется номером столбца и номером строки, на пересечении которых находится ячейка, содержащая искомый элемент.

• Многомерные таблицы – это упорядоченные структуры данных, в которых адрес элемента определяется тремя и более измерениями. Для отыскания нужного элемента в таких таблицах необходимо знать параметры всех измерений (размерностей).

Линейные и табличные структуры являются простыми. Ими легко пользоваться, поскольку адрес каждого элемента задаётся числом (для списка), двумя числами (для двумерной таблицы) или несколькими числами для многомерной таблицы. Они также легко упорядочиваются. Основным методом упорядочения таких данных является сортировка. Недостатком простых структур данных является трудность их обновления.

• Иерархические структуры – это структуры, объединяющие нерегулярные данные, которые трудно представить в виде списка или таблицы. В иерархической структуре адрес каждого элемента определяется маршрутом, ведущим от вершины структуры к данному элементу. Эти структуры по форме сложнее, чем линейные и табличные, но они не создают проблем с обновлением данных. Их легко развивать путём создания новых уровней.

Недостатком иерархических структур является относительная трудоёмкость записи адреса элемента данных и сложность упорядочения. Поэтому для упорядочения в таких структурах применяется метод предварительной индексации. При этом каждому элементу данных присваивается свой уникальный индекс, который используется при поиске, сортировке и тому подобное. В качестве примера иерархической структуры может служить система почтовых адресов.

Необходимым условием хранения данных в памяти компьютера является возможность преобразования этой информации в подходящий формат в компьютере. В случае, если это условие не выполнено, следует определить структуру, которая подходит к имеющейся информации, что даст необходимое количество возможностей для работы с ней.

Круглый список

Здесь структура заключается в том, чтобы понять способ представления информации, с помощью которого набор отдельных элементов, форма чего-то, из-за их взаимосвязи друг с другом. Упорядоченные по любым правилам и логически связанные друг с другом, данные могут быть обработаны очень эффективно, поскольку общая для них структура предлагает множество возможностей для управления ими – один из способов достижения высоких результатов в решении различных задач. Но не каждый объект представлен в какой-либо форме, и возможно даже для него существует только один метод интерпретации, поэтому несомненным преимуществом программиста является знание всех существующих структур данных.

Таким образом, часто приходится делать выбор между различными способами хранения информации, и от этого выбора зависит производительность продукта. Говоря о вычислениях, мы можем показать, что нет случая, когда информация видна на четкой структуре. Хорошим примером являются книги различного содержания. Они разделены на страницы, абзацы и рисунки, обычно это оглавление, которое является интерфейсом для их использования. В широком смысле структура есть в каждом живом существе, без нее органическое вещество вряд ли может существовать.

Вполне вероятно, что читателю пришлось иметь дело со структурами данных непосредственно из информатики, например, теми, которые построены на языке программирования. Их часто называют типом данных. К ним относятся: массивы, числа, строки, файлы и т. д.

Метод записи информации, называемый "простым", т. е. неделимыми частями, лучше изучать на одном конкретном языке программирования или углубляться в суть своей работы. Поэтому в данном обзоре рассматриваются только "интегрированные" структуры, которые состоят из простых, а именно: массивов, списков, деревьев и графиков.

Глава 2. Понятие информации

2.1 Передача и обработка информации

Существует множество определений и взглядов на понятие "информация". Известно такое определение: информация (от латинского informatio) - это сведения, сообщения о каком-либо событии, деятельности и т.д. В самом общем смысле информация есть обозначение некоторой формы связей или зависимостей объектов, явлений, мыслительных процессов. Информация есть понятие, абстракция, относящееся к определенному классу закономерностей материального мира и его отражения в человеческом сознании. В зависимости от области, в которой ведется исследование, и от класса задач, для которых вводится понятие информации, исследователи подбирают для него различные определения.^[8]

Для инженеров, биологов, генетиков, психологов понятие "информации" отождествляется с теми сигналами, импульсами, кодами, которые наблюдаются в технических и биологических системах. Радиотехники, телемеханики, программисты понимают под информацией рабочее тело, которое можно обрабатывать, транспортировать, так же как электричество в электротехнике или жидкость в гидравлике. Это рабочее тело состоит из упорядоченных дискретных или непрерывных сигналов, с которыми и имеет дело информационная техника.

Носителями информации являются материальные объекты, в том числе процессы и физические поля, в которых сведения находят свое отображение в виде символов, образов, сигналов и технических решений.

Предметы, процессы, явления материального или нематериального свойства, рассматриваемые с точки зрения их информационных свойств, называются информационными объектами.

Основными формами существования информации являются:

• человек - как обладающий свойством накапливать и хранить в своем сознании (памяти) смысловую информацию, а при необходимости выдавать ее другому человеку или техническому устройству. Выдача человеком информации происходит устно при разговоре, письменно в виде документа или путем передачи изделий различного назначения;

• документ - текстовые и графические материалы, выполненные любыми способами, а также перфорированные и магнитные носители, фото-, видео-, кинопленки. Текстовые и графические материалы могут быть написаны от руки, нарисованы, выгравированы, начерчены, напечатаны на машинке, исполнены типографским способом;

• изделие - технические комплексы, системы и образцы различного назначения, их составные части и комплектующие элементы, химические продукты, аппаратура, оборудование и макеты, которые по своим характеристикам и отличительным признакам являются источниками информации. Особую группу изделий составляют технические средства обработки информации (ТСОИ), которые подобно человеку способны накапливать, хранить, преобразовывать и выдавать информацию в виде сообщений. Информация при этом может отображаться на экране дисплея или отпечатываться в виде документа;

• работа (процесс) - боевые действия войск;

• объект - организационное и территориальное объединение сил и средств, предназначенных для совместного осуществления управленческой деятельности.

Информация может существовать в самых разнообразных формах:

• в виде текстов, рисунков, чертежей, фотографий;

• в виде световых или звуковых сигналов;

• в виде радиоволн;

• в виде электрических и нервных импульсов;

• в виде магнитных записей;

• в виде жестов и мимики;

• в виде запахов и вкусовых ощущений;

• в виде хромосом, посредством которых передаются по наследству признаки и свойства.

Информация передаётся в виде сообщений от некоторого источника информации к её приёмнику посредством канала связи между ними. Источник посылает передаваемое сообщение, которое кодируется в передаваемый сигнал. Этот сигнал посылается по каналу связи. В результате в приёмнике появляется принимаемый сигнал, который декодируется и становится принимаемым сообщением. Передача информации по каналам связи часто сопровождается воздействием помех, вызывающих искажение и потерю информации.

Обработка информации - получение одних информационных объектов из других информационных объектов путем выполнения некоторых алгоритмов. Обработка является одной из основных операций, выполняемых над информацией, и главным средством увеличения объёма и разнообразия информации. Средства обработки информации - это всевозможные устройства и системы, созданные человечеством, и в первую очередь, компьютер - универсальная машина для обработки информации.