Добавлен: 07.11.2023
Просмотров: 509
Скачиваний: 18
ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.
-
1.2.2 Выбор формата хранения данных
Выбор формата хранения данных на Python зависит от многих факторов, таких как тип данных, его размер, доступность библиотек для работы с этими данными, требования к скорости чтения и записи данных, требования к безопасности данных и так далее.
В Python существует множество форматов для хранения данных, в том числе:
- CSV (Comma-Separated Values) - формат для хранения табличных данных, разделенных запятыми.
- JSON (JavaScript Object Notation) - формат для хранения и передачи структурированных данных в формате текста.
- YAML (YAML Ain't Markup Language) - формат для представления данных в удобочитаемой форме.
- HDF5 (Hierarchical Data Format version 5) - формат для хранения больших объемов научных данных.
Кроме этого, существуют специализированные форматы для хранения данных, такие как:
- Для изображений: JPEG, PNG, TIFF и др.
- Для геоданных: Shapefile, GeoJSON и др.
- Для звуковых файлов: WAV, MP3 и др.
При выборе формата хранения данных на Python важно определиться с задачей, которую требуется решить, и выбрать наиболее подходящий формат для нее.
Я выбрал формат CSV (расшифровывается как «значения, разделенные запятыми»), потому что этот формат удобен для прочтения больших баз данных в текстовом файле.
Вот пример кода
import random
import pandas as pd
data_list = [] # создаем пустой список для данных
for i in range(1000):
data_list.append(random.randint(-10000, 10000)) # генерируем случайное число и добавляем в список
df = pd.DataFrame(data_list, columns=['Values'])
# Сохраняем данные в
формате CSV
df.to_csv('data.csv', index=False)
# Проверяем, что данные сохранены
pd.read_csv('data.csv')
Рис.2
- 1 2 3 4 5
1.2.3 Очистка данных от цифрового мусора
Очистка данных от цифрового мусора – это процесс удаления ненужных символов или строк, которые могут мешать при анализе данных. Цифровой мусор может быть вызван опечатками при вводе данных, форматированием, использованием специальных символов, которые не являются частью содержимого, и т.д. Он может существенно усложнить анализ и исказить результаты.
Вот пример программного кода:
import random
data_list = [] # создаем пустой список для данных
for i in range(1000):
data_list.append(random.randint(-10000, 10000)) # генерируем случайное число и добавляем в список
data_list = [x for x in data_list if x != 0] # удаление чисел равных 0
Рис.3
Здесь мы удаляем все числа равные 0, к примеру, если они нам не нужны
-
1.3 Выводы по разделу
Я считаю, что выбор плаформы является неотемлемой частью правильного и компактного кода. Ещё одним важным пунктом является выбор минимального количества нужных библиотек. Основываясь на информации в данном разделе можно сделать следующие выводы (Рис.1.2.3).
Таблица 1.2
Выводы по разделу 1
| Выводы | Код и наименование компетенции выпускника программы бакалавриата | Код и наименование индикатора достижения компетенции |
| ЭТО ПРИМЕР ФОРМУЛИРОВКИ ВЫВОДОВ - Был выполнен анализ инфраструктуры и средств разработки для определения необходимого информационно-технологического окружения. - Выбрана современная платформа Python и библиотеки Pandas, Matplotlib для решения прикладных профессиональных задач в соответствие с индивидуальным заданием - проведен анализ технической документациик среде разработке и к используемым библиотекам как на русском, так и на иностранном языках | ОПК-1. Способен проводить моделирование, анализ и совершенствование бизнес-процессов и информационно-технологической инфраструктуры предприятия в интересах достижения его стратегических целей с использованием современных методов и программного инструментария; | ОПК-1.1. Знать методы анализа бизнес-процессов предприятия ОПК-1.2. Уметь использовать программный инструментарий для моделирования бизнес-процессов ОПК-1.3. Владеть навыками анализа и модернизации информационно-технологической инфраструктуры предприятия. |
| ОПК-2. Способен проводить исследование и анализ рынка информационных систем и информационно-коммуникационных технологий, выбирать рациональные решения для управления бизнесом; | ОПК-2.1. Знать методы исследования качества, сложности и надежности информационных систем ОПК-2.2. Уметь проводить оценку эффективности внедрения информационных систем и информационно-коммуникационных технологий управления бизнесом. ОПК-2.3. Владеть навыками анализа рынка информационных систем и информационно-коммуникативных технологий. | |
| УК-4. Способен осуществлять деловую коммуникацию в устной и письменной формах на государственном языке Российской Федерации и иностранном(ых) языке(ах) | УК-4.1. Знает принципы построения устного и письменного высказывания на государственном и иностранном языках; требования к деловой устной и письменной коммуникации. УК-4.2. Умеет вести академическую и профессиональную дискуссии на государственном языке Российской Федерации и иностранном(ых) языке(ах). УК-4.3. Владеет методикой составления суждения в межличностном деловом общении на государственном и иностранном языках. | |
| ЭТО ПРИМЕР ФОРМУЛИРОВКИ ВЫВОДОВ Проведена установка и подключение необходимых библиотек в среду разработки Python для использования в качестве готовых компонентов при разработке алгоритмов и программ | ОПК-3. Способен управлять процессами создания и использования продуктов и услуг в сфере информационно-коммуникационных технологий, в том числе разрабатывать алгоритмы и программы для их практической реализации; | ОПК-3.1. Знать методы проектирования и развертывания программных продуктов и услуг, обеспечивающих поддержку бизнес-процессов предприятия. ОПК-3.2. Уметь использовать современные технологические платформы и средства разработки для создания программных продуктов и услуг в сфере информационно-коммуникационных технологий. ОПК-3.3. Владеть методами проектирования и развертывания продуктов и услуг в сфере информационно-коммуникационных технологий. |
| ЭТО ПРИМЕР ФОРМУЛИРОВКИ ВЫВОДОВ Осуществлен поиск внешних ресурсов с данными согласно индивидуальному заданию. Выбраны источники с данными. Проведен предварительный анализ данных из внешних источников. (сформированы наборы случайных данных) На основе системного подхода и анализа структуры внешних данных выбран формат хранения данных. | УК-1. Способен осуществлять поиск, критический анализ и синтез информации, применять системный подход для решения поставленных задач | УК-1.1. Знает принципы сбора, отбора и обобщения информации, методики системного подхода для решения профессиональных задач. УК-1.2. Умеет анализировать и систематизировать разнородные данные, оценивать эффективность процедур анализа проблем и принятия решений в профессиональной деятельности. УК-1.3. Владеет навыками научного поиска и практической работы с информационными источниками; методами принятия решений. |
| ЭТО ПРИМЕР ФОРМУЛИРОВКИ ВЫВОДОВ - Выполнена постановка задачи, сформулирована цель исследования данных, сформирована проектная группа. - Распределены функциональные обязанности: определен объем работ, в части создания программного кода; сформирован круг задач; заданы временные ограничения на разработку - Выбраны оптимальные способы решения поставленных задач, исходя из имеющихся возможностей каждого разработчика. | УК-2. Способен определять круг задач в рамках поставленной цели и выбирать оптимальные способы их решения, исходя из действующих правовых норм, имеющихся ресурсов и ограничений | УК-2.1. Знает необходимые для осуществления профессиональной деятельности правовые нормы и методологические основы принятия управленческого решения. УК-2.2. Умеет анализировать альтернативные варианты решений для достижения намеченных результатов; разрабатывать план, определять целевые этапы и основные направления работ. УК-2.3. Владеет методиками разработки цели и задач проекта; методами оценки продолжительности и стоимости проекта, а также потребности в ресурсах. |
| УК-3. Способен осуществлять социальное взаимодействие и реализовывать свою роль в команде | УК-3.1. Знает типологию и факторы формирования команд, способы социального взаимодействия. УК-3.2. Умеет действовать в духе сотрудничества; принимать решения с соблюдением этических принципов их реализации; проявлять уважение к мнению и культуре других; определять цели и работать в направлении личностного, образовательного и профессионального роста. УК-3.3. Владеет навыками распределения ролей в условиях командного взаимодействия; методами оценки своих действий, планирования и управления временем. | |
| УК-6. Способен управлять своим временем, выстраивать и реализовывать траекторию саморазвития на основе принципов образования в течение всей жизни | УК-6.1. Знает основные принципы самовоспитания и самообразования, исходя из требований рынка труда. УК-6.2. Умеет демонстрировать умение самоконтроля и рефлексии, позволяющие самостоятельно корректировать обучение по выбранной траектории. УК-6.3. Владеет способами управления своей познавательной деятельностью и удовлетворения образовательных интересов и потребностей. | |
| УК-5. Способен воспринимать межкультурное разнообразие общества в социально-историческом, этическом и философском контекстах | УК-5.1. Знает основные категории философии, законы исторического развития, основы межкультурной коммуникации. УК-5.2. Умеет вести коммуникацию в мире культурного многообразия и демонстрировать взаимопонимание между обучающимися – представителями различных культур с соблюдением этических и межкультурных норм. УК-5.3. Владеет практическими навыками анализа философских и исторических фактов, оценки явлений культуры; способами анализа и пересмотра своих взглядов в случае разногласий и конфликтов в межкультурной коммуникации. | |
| ЭТО ПРИМЕР ФОРМУЛИРОВКИ ВЫВОДОВ - обоснованы объемы работы по каждой задаче - заданы сроки представления результатов создания своего фрагмента кода - заданы временные траектории совместной работы над общими фрагментами кода с учетом требований безопасных условий труда за компьютером и соблюдения режима труда и отдыха для поддержания должного уровня физической подготовленности. | УК-6. Способен управлять своим временем, выстраивать и реализовывать траекторию саморазвития на основе принципов образования в течение всей жизни | УК-6.1. Знает основные принципы самовоспитания и самообразования, исходя из требований рынка труда. УК-6.2. Умеет демонстрировать умение самоконтроля и рефлексии, позволяющие самостоятельно корректировать обучение по выбранной траектории. УК-6.3. Владеет способами управления своей познавательной деятельностью и удовлетворения образовательных интересов и потребностей. |
| УК-7. Способен поддерживать должный уровень физической подготовленности для обеспечения полноценной социальной и профессиональной деятельности | УК-7.1. Знает виды физических упражнений; научно-практические основы физической культуры и здорового образа и стиля жизни. УК-7.2. Умеет применять на практике разнообразные средства физической культуры, спорта и туризма для сохранения и укрепления здоровья, психофизической подготовки и самоподготовки к будущей жизни и профессиональной деятельности; использовать творчески средства и методы физического воспитания для профессионально-личностного развития, физического самосовершенствования, формирования здорового образа и стиля жизни. УК-7.3. Владеет средствами и методами укрепления индивидуального здоровья, физического самосовершенствования. | |
| УК-8. Способен создавать и поддерживать в повседневной жизни и в профессиональной деятельности безопасные условия жизнедеятельности для сохранения природной среды, обеспечения устойчивого развития, в том числе при угрозе и возникновении чрезвычайных ситуаций и военных конфликтов | УК-8.1. Знает теоретические основы жизнедеятельности в системе «человек – среда обитания», методы защиты в условиях чрезвычайных ситуаций, военных конфликтов; методы сохранения природной среды, факторы обеспечения устойчивого развития общества. УК-8.2. Умеет идентифицировать опасные и вредные факторы в рамках осуществляемой деятельности; оценивать возможные риски появления опасностей и чрезвычайных ситуаций; создавать и поддерживать безопасные условия жизнедеятельности в повседневной жизни и в профессиональной деятельности. УК-8.3. Владеет методами прогнозирования возникновения опасных или чрезвычайных ситуаций; навыками по применению основных методов защиты в условиях чрезвычайных ситуаций в повседневной жизни и профессиональной деятельности. | |
| УК-9. Способен использовать базовые дефектологические знания в социальной и профессиональной сферах | УК-9.1 Знает понятия инклюзивного взаимодействия при коммуникации в различных сферах жизнедеятельности, с учетом социально-психологических особенностей лиц, имеющими ограниченные возможности здоровья или инвалидность УК-9.2. Умеет вести профессиональную деятельность с лицами имеющими ограниченные возможности здоровья или инвалидность УК-9.3 Владеет навыками взаимодействия с лицами имеющими ограниченные возможности здоровья или инвалидность в социальной и профессиональной сферах | |
| УК-10. Способен принимать обоснованные экономические решения в различных областях жизнедеятельности | УК-10.1 Знает основные документы, регламентирующие экономическую деятельность; источники финансирования профессиональной деятельности; принципы планирования экономической деятельности УК-10.2 Умеет обосновывать принятие экономических решений, использовать методы экономического планирования для достижения поставленных целей УК-10.3 Владеет навыками применения экономических инструментов | |
| УК-11. Способен формировать нетерпимое отношение к коррупционному поведению | УК-11.1 Знает действующие правовые нормы, обеспечивающие борьбу с коррупцией в различных областях жизнедеятельности; способы профилактики коррупции и формирования нетерпимого отношения к ней УК-11.2 Умеет планировать, организовывать и проводить мероприятия, обеспечивающие формирование гражданской позиции и предотвращение коррупции в обществе УК-11.3 Владеет навыками взаимодействия в обществе на основе нетерпимого отношения к коррупции |
- 1 2 3 4 5
количественный анализ данных
Получение данных Dataset (данные)
Чтобы эффективно работать с pandas, необходимо Понимать основные структуры данных в pandas: библиотека pandas предоставляет две основных структуры данных - Series и DataFrame. Series - это одномерный объект аналогичный массиву, но если массив содержит только целые числа или только строки, то в списке могут содержаться элементы разных типов. DataFrame - это двухмерная структура данных, аналогичная таблице базы данных, которая состоит из строк и столбцов, каждый из которых может содержать данные различных типов.
Знать, как производить выборку данных: pandas позволяет производить выборку данных по столбцам и строкам с использованием методов .loc, .iloc и [].
Уметь работать с пропущенными значениями: pandas имеет специальные методы для работы с пропущенными значениями в данных, например, .isnull(), .dropna() и .fillna().
Понимать базовые операции над данными: pandas предоставляет множество методов для выполнения различных операций над данными, например, .groupby(), .merge(), .pivot_table() и .apply().
Уметь применять функции к данным: pandas позволяет легко применять функции к данным с помощью методов .apply() и .applymap().
Знать, как сохранять и загружать данные: pandas позволяет сохранять данные в различных форматах, таких как CSV, Excel, SQL и HDF5, а затем загружать их обратно в вашу программу с помощью соответствующих методов.
Кроме вышеперечисленного, эффективная работа с pandas также требует знания и понимания многих других функций и методов этой библиотеки, которые могут быть полезны в зависимости от конкретных задач и данных, с которыми вы работаете.
Данные в Dataset можно получить из различных источников: например, можно импортировать данные из файлов в формате CSV, Excel или других форматах, а также из баз данных.
Dataset в Python часто используется для обучения моделей машинного обучения, таких как классификация, регрессия, кластеризация и других видов задач. Большинство библиотек машинного обучения в Python имеют инструменты для работы с Dataset, включая Pandas, Scikit-learn, Tensorflow и другие.
Работа с наборами данных может включать в себя такие операции, как оценка качества данных, предварительная обработка, преобразование, создание новых признаков, визуализация данных и т.д.