Файл: Операции, производимые над данными.pdf

ВВЕДЕНИЕ

В ходе изучения дисциплин связанных с информационными технологиями, нередко приходится сталкиваться с таким понятием как «данные». Так или иначе, но на сегодняшний день информационные технологии задействованы практически в каждой научной или практически-значимой сфере общества, что безусловно накладывает отпечаток ответственности при обработке данных. Самими же данными выступают практически-применимые разносторонние сведения об окружающем мире, которые могут быть задействованы в контексте заданной сферы. Методы обработки данных, их внутреннее представление и способы их ввода и вывода – основополагающие моменты в понимании не только элементарных составляющих информационных наук в целом, но и ключ к созданию таких сложных и инновационных моделей, как компьютерное обучение, нейросети, Data mining, серверные структуры взаимодействия и многие другие вещи, без которых уже не функционирует практически ни одно серьёзное предприятие. Поэтому, изучение общих положений по обработке данных – является приоритетной целью для каждого, кто хотел бы изучить любую сферу информационных технологий на продвинутом уровне. Исходя из этого, может быть сформулирована цель курсовой работы – изучение принципов работы с данными в информационных технологиях в простейшем случае. Для достижения этой цели понадобится выполнить следующие задачи:

• Изучить способоы представления данных в информационных технологиях
• Изучить основные приёмы работы с данными
• Выявить практическую значимость и область применения этих приёмов работы
• Проанализировать современные технологические решения с позиции полученных сведений об представлении и обработке данных

Поставленные задачи иллюстрируют актуальность указанной темы – а именно, в ходе курсовой работы будут рассмотрены современные и крайне востребованные на сегодняшний день технологии, которые уже доказали свою практическую значимость, с точки зрения обработки данных. На основании этого, можно выдвинуть гипотезу о том, что способы обработки данных являются основополагающей областью для изучения любой современной технологии.

Объект исследования – это вся область знаний информационных технологий.

Предметом исследования являются сами данные, операции над ними, Datascience и стек актуальных технологий, связанных с Datascience.

Методами исследования будут выступать различные учебные пособия и приёмы построения архитектуры данных, описанные в них.

ГЛАВА 1. ИНФОРМАЦИЯ И ЕЁ ПРЕДСТАВЛЕНИЕ

1.1. ИНФОРМАЦИЯ И ЕЁ ОБРАБОТКА

Информацией называются различные сведения, отражающие реальный мир. В информатике этот термин неразрывно связан с понятием «данные». Под данными подразумевают отрывочные разрозненные сведения. [3]

Одним из возможных способов достижения какой-то цели в сфере информационных технологий является обработка поступающих данных. В качестве теоретических стадий обработки информации можно выделить:

Стадия формирования первичных данных. Т.е. стадия получения цепочки сведений в каком-либо виде (сообщения об операциях, различные нормативные и юридические акты, параметры автомобиля и т.д) [1]

Стадия накопления и систематизации данных, т.е сбор различного рода сведений, отбор необходимых для решения поставленной задачи и организация удобной системы навигации в этих структурах.

Стадия обработки информации – другим словами, создание нового набора данных на основе предыдущих. Обычно такие данные являются обобщающими, аналитическими, рекомендательными, прогнозными и т.д. Такие данные в последствии могут быть подвергнуты дополнительной обработке для получения более глубоких выводов. [2]

Вывод результатов в удобном для человека формате. Таким форматом, в частности, может быть графическое изображение, звук, текст и т.д.

Сведения, появляющиеся на первом этапе могут иметь различный формат: бумажный документ, данные на цифровом носителе, видеозапись, звук. Причём, как правило, сведения, содержащиеся на физических носителях, полученные от аналоговых устройств оказываются менее долговечными, чем прочие. Современные способы хранения информации включают в себя совершенно другие подходы – в частности дискретные методы представления. [1] Такие дискретные данные могут быть преобразованы в машинный код средствами ЭВМ. Обработка данных в таком виде сопряжена с некоторого рода проблемами, одной из таких проблем является точность и корректность записи и отображения разных видов данных. Под точностью понимают отсутствие погрешностей или ошибок при выполнении задачи. Корректность же означает частоту появления ошибок в данных, которые могут возникать при сборе, наблюдении или измерении. [1]

Точность определяется степенью детализации. Для примера можно взять измерение веса на весах. Вес тела, измеренный на весах с разным уровнем детализации может иметь разные значения (например, на одних менее точных весах вес объекта составит 75 кг, а на других, более точных вес составит 75.12 кг).

Данные сами по себе – это диалектическая составная часть информации. Они представимы в виде зарегистрированных сигналов. При этом физический метод регистрации может быть любым: механическое перемещение физических тел, изменение их формы или параметров качества поверхности, изменение электрических, магнитных, оптических характеристик, химического состава и (или) характера химических связей, изменение состояния электронной системы и прочие. В соответствии с методом регистрации данные могут храниться и транспортироваться на носителях разных видов. [1]

1.2 НОСИТЕЛИ ДАННЫХ

Наиболее популярным носителем данных, но не наиболее экономным считается бумага. На бумаге данные регистрируются методом отображения оптических данных на её плоскости. Изменение оптических качеств (изменение коэффициента отблеска плоскости в конкретном спектре длин волн) применяется еще в устройствах, осуществляющих запись лазерным лучом на пластмассовых носителях с отражающим покрытием ( CDROM ). [2] В качестве носителей, использующих перепады магнитных качеств, можно выделить магнитные ленты и диски. Регистрация данных методом корреляции химического состава поверхностного состава носителя обширно применяется в фотографии. На биохимическом уровне можно наблюдать скопление и предоставление данных в живой природе. [2]

Носители данных привлекают наше внимание не в качестве отдельной составляющей, а потому что качества информации очень плотно связаны с качествами ее носителей. Всякий носитель возможно охарактеризовать параметром разрешающей возможности (количеством данных, записанных в принятой для носителя единице измерения) и динамическим спектром (логарифмическим отношением интенсивности амплитуд предельного и малого регистрируемого сигналов). От данных качеств носителя зачастую зависимы такие качества информации, как полнота, доступность и достоверность. [2] Так, мы можем рассчитывать, что в базе данных, размещаемой на компакт-дисках, легче будет гарантировать полноту информации, чем в схожем образом сконструированной версии этой базы данных, размещенной на гибком магнитном диске, потому что в первом случае плотность записи данных на единице длины дорожки гораздо больше. Для простого покупателя доступность информации в бумажном носителе ниже, чем та же информация на компакт-диске, потому что не вся информация может быть представлена в бумажном варианте. И, в конце концов, ясно, что зрительный эффект от просмотра слайдов на проекторе гораздо выше, чем от просмотра подобной картинки, написанной на бумаге. [3]

Задача переустройства данных с целью замены носителя относится к одной из наиглавнейших задач информатики. В контексте цены вычислительных систем устройства для ввода и вывода данных, работающие с носителями информации, могут достигать до пятидесяти процентов цены всех прочих аппаратных средств. [3]

Одним из примеров восхитительного запоминающего устройства и носителя данных можно назвать человеческий мозг, имеющий в пределах (10—15)*10⁹ нейронов — ячеек, совмещающих функции памяти и логической обработки информации.

Объём мозга в среднем ., масса -1,2 кг, потребляемая мощность в пределах 2,5 Вт. Самые технологичные современные электронные запоминающие устройства при схожей ёмкости занимают объём всего пару . при массе в десятки и сотни кг, а потребляемая мощность достигает несколько кВт. [3]

Научно аргументированные мнения говорят, что развитие технологий в электронной технике и использование последних высокоэффективных накопительных сред в сочетании с всесторонним внедрением бионики при решении проблем, связанных с синтезом запоминающих приборов, разрешат создавать запоминающие устройства, схожие по свойствам с памятью человека.

1.3 ОПЕРАЦИИ С ДАННЫМИ

Данные характеризуются собственным типом и множеством операций над ними. Данные в компьютере можно условно разделить на простые и сложные.

Примеры простых данных, которые способен обрабатывать компьютер приведены в таблице 1:

Таблица 1. Типы данных, обрабатываемых компьютером

Сложные данные можно разделить по характеру описанных в них данных на однотипные и разнотипные. К однотипным данным обычно относят массивы и списки, а к разнотипным структуры, записи и таблицы, хотя это и довольно условное разделение, зависящее от архитектуры представления. [1] В ходе осуществления информационного процесса данные могут быть преобразованы из одного типа в другой с помощью методов. Обработка данных включает в себя множество различных операций. По мере внедрения новейших технологий и повсеместного усложнения связей в социуме, затраты на обработку данных неуклонно возрастают. Как правило, это связано с неизменным усложнением критериев управления производством и социумом. [2] Следующий фактор, тоже вызывающий сильное увеличение объемов обрабатываемых данных, также связан с научно-техническим прогрессом, а именно с качественными темпами создания и внедрения новых носителей данных, средств обеспечения их безопасности и транспортировки. [3]

В структуре определяемых операций с данными возможно отметить главные:

• сбор данных – создание базы информации с целью обеспечения минимальной полноты для принятия решений;
• формализация данных - приведение данных, поступающих из различных источников, к схожей форме, чтобы привести их к сопоставимой между собой форме, то есть увеличить их степень доступности;
• фильтрация данных - отсеивание «ненужных» данных, в которых нет нужды для принятия решений; в этом случае должен быть снижен уровень лишней информации, а достоверность и адекватность данных в этом случае будет лишь увеличиваться;
• сортировка данных - упорядочение данных по какому-либо признаку с целью увеличения степени удобства использования, что увеличивает доступность данных;
• архивация данных - организация дополнительной безопасности для данных в удобной и легкодоступной форме; используется для снижения ресурсов, необходимых для хранению данных и повышает общую степень безопасности информационного процесса в целом;
• защита данных - множество мер, нацеленных на предотвращение утраты данных, повышает безопасность использования и модификации данных;
• транспортировка данных это получение и отдача (доставка и поставка) данных между удаленными членами информационного процесса; при данном подходе отправителя данных в информатике принято называть сервером, а получателем - клиентом;
• преобразование данных - перевод данных в различные формы, типы или структуры. Переустройство данных нередко связано с модификацией типа носителя, к примеру статьи могут содержаться в обычной бумажной форме, но возможно приспособить для этих целей и электронную форму, и микрофотопленку.

Нужда в неоднократности преобразований данных возникает также при их перемещении, тем более в случае если оно выполняется способами, непредназначенными для транспортировки представленного вида информации. Для иллюстрации этого факта можно упомянуть, что для транспортировки цифровых потоков данных по каналам телефонных сетей (которые изначально были ориентированы только на передачу аналоговых сигналов в узком диапазоне частот) необходимо преобразование цифровых данных в некое подобие звуковых сигналов, чем и занимаются специальные устройства — телефонные модемы. [1]

ГЛАВА 2. КОДИРОВАНИЕ ДАННЫХ