Файл: Методические указания по выполнению лабораторных работ для студентов, обучающихся с применением.pdf

63
"/version/?access_token=your_token"
conn request(
"GET"
, request) resp
=
conn getresponse()
#
берем json содержимой ответа
js_data
=
json load(resp)
print
(
"version "
,js_data[
0
][
'created'
]) ident_v
=
js_data[
0
][
'created'
]
# задаем строку запроса для получения структуры датасета
request
=
"https://data.gov.ru/api/json/dataset/"
request
=
request
+
dt[
'identifier'
]
iloc[i]
+
"/version/"
request
=
request
+
ident_v
+
"/structure?access_token=your_token"
conn request(
"GET"
, request) resp
=
conn getresponse() js_data
=
json load(resp)
# если при получении структуры данные не пустые, выводим данные о структуре
if
js_data:
print
(js_data)
# делаем запрос на получение данных в формате xml
request
=
"https://data.gov.ru/api/xml/dataset/"
request
=
request
+
dt[
'identifier'
]
iloc[i]
+
"/version/"
request
=
request
+
ident_v
+
"/content?access_token=your_token"
conn request(
"GET"
, request) resp
=
conn getresponse() data_content
=
resp read()
decode()
print
(data_content[
0
:
24
])
# попробуем обработать наши данные и парсить xml строку
import
pandas
as
pd
import
xml.etree.ElementTree
as
et
import
xml.dom.minidom
# используем стандартный парсер Python, есть и сторонние
# Два основных парсера DOM и sax. Почитайте, что это.
parser
=
et
XMLParser(encoding
=
"utf-8"
) xroot
=
et fromstring(data_content, parser
=
parser)
# ищем в xml теги, используя структуру, предлагаемую API
print
(xroot tag)
for
rows
in
xroot findall(
'rows'
):
print
(
"rows"
)
for
row
in
rows findall(
'row'
):

64
print
(
"row"
)
for
value
in
row findall(
'value'
):
print
(value text) conn close()
Как видите, приложение крашится при первом же запуске. Тем не менее, оно выводит некоторую полезную информацию. Во-первых, многие датасеты отсутствуют, формат некоторых датасетов оставляет желать лучшего. Тем не менее, некоторые даже содержат XML-данные и некоторые из них даже чи- таются. Таким образом, здесь полезной оказалась бы обработка исключений.
Для ознакомления с исключениями на Python обратитесь к ресурсу: https://pythonworld.ru/tipy-dannyx-v-python/isklyucheniya-v-python-konstrukciya- try-except-dlya-obrabotki-isklyuchenij.html .
Попробуйте переписать вышестоящий код с использованием функций, де- композируйте задачу, перепишите данные из xml в hdf формат. Учтите исклю- чения, отсутствующие данные отбрасывайте.

65
2
ЛАБОРАТОРНАЯ РАБОТА № 1
«РАЗРАБОТКА ВЕБ-ПРИЛОЖЕНИЯ НА PYTHON»
Целью данной лабораторной работы является изучение возможностей языка Python по обработке данных, создание веб-приложения с использованием фреймворка Flask, системы контроля версий GIT и системы непрерывной инте- грации Travis. Перед выполнением задания лабораторной работы необходимо выполнить задания из первой главы настоящих методических указаний.
2.1
Непрерывная интеграция для GitHub
Непрерывная интеграция (англ. Continuous Integration, CI) – способ разра- ботки программного обеспечения, который заключается в постоянном слиянии рабочих копий в общую основную ветвь разработки (до нескольких раз в день) и выполнении частых автоматизированных сборок проекта для скорейшего вы- явления потенциальных дефектов и решения интеграционных проблем.
В обычном проекте, где над разными частями системы разработчики трудятся независимо, стадия интеграции является заключительной. Она может непред- сказуемо задержать окончание работ. Переход к непрерывной интеграции поз- воляет снизить трудоёмкость интеграции и сделать её более предсказуемой за счёт наиболее раннего обнаружения и устранения ошибок и противоречий, но основным преимуществом является сокращение стоимости исправления де- фекта благодаря раннему его выявлению.
Непрерывная интеграция впервые концептуализирована и предложена
Гради Бучем в 1991 г. Является одним из основных элементов практики экс- тремального программирования.
Для применения практики необходимо выполнение ряда базовых требо- ваний к проекту разработки. В частности, исходный код и всё, что необходимо для сборки и тестирования проекта, должно храниться в репозитории системы управления версиями, а операции копирования из репозитория, сборки и тести- рования всего проекта должны быть автоматизированы и легко вызываться из внешних программ.

66
Для организации процесса непрерывной интеграции на выделенном сер- вере запускается служба, в задачи которой входят:
•
получение исходного кода из репозитория;
•
сборка проекта;
•
выполнение тестов;
•
развёртывание готового проекта;
•
отправка отчетов.
2.2
Примеры веб-сервисов для непрерывной интеграции
Существует ряд веб-сервисов, которые позволяют реализовать процесс непрерывной интеграции. Для операционной системы Windows это
AppVeyor https://www.appveyor.com/
, для Mac OS и Linux –
Travis CI https://travis-ci.org/
Мы будем работать под Linux с использованием Travis CI. Он имеет ряд особенностей, которые делают его хорошим выбором для начала работы с кон- вейерами сборки:
•
быстро интегрируется с любым общедоступным GitHub- репозиторием;
•
поддерживает все основные языки программирования;
•
развертывается на нескольких разных облачных платформах;
•
предлагает множество инструментов для обмена сообщениями и оповещения.
На высоком уровне он работает путем мониторинга github-репозитория на предмет новых коммитов (commit).
Когда создается новый коммит, Travis CI выполняет шаги конвейера сборки, как определено в файле конфигурации. Если какой-либо шаг не удался, конвейер завершается, и об этом создается уведомление.
Из коробки Travis CI требует незначительных настроек конфигурации.
Единственная необходимая конфигурация – это указание языка программирова- ния.

67
Всегда можно предоставить больше настроек конфигурации для адапта- ции нашего конвейера, если это необходимо. Например, мы можем ограничить ветви, для которых запускаются сборки, добавить дополнительные шаги в кон- вейер и многое другое.
Travis умеет работать как из полновесной виртуальной машины, так и из Docker-контейнера. В теории, это позволяет сократить время между git push и началом сборки приблизительно на одну минуту. К сожалению, на прак- тике за это ускорение придётся заплатить потерей возможности делать sudo, а это, в свою очередь, ведёт к ограничениям при установке нужных зависимо- стей.
Как именно собирать, тестировать и развёртывать проект, описывается в специальном конфигурационном файле на языке YAML. Этот файл должен лежать в корне репозитория и иметь имя .travis.yml или appveyor.yml (допуска- ется .appveyor.yml) – для Travis CI и AppVeyor соответственно.
2.3
Что такое YAML
YAML – это язык с синтаксическим структурированием с помощью от- ступов (как и, например, Python), но при этом не разрешается использование табуляции.
После того как YAML-файлы добавлены в репозиторий, нужно включить непрерывную интеграцию для заданного проекта на сайтах Travis и AppVeyor.
Нужно зайти на https://travis-ci.org
, авторизовавшись через свой github-аккаунт.
Затем соглашаемся с доступом, который запрашивает Travis CI (ему нужно бу- дет получать уведомления о новых коммитах), синхронизуем список своих про- ектов, выбираем нужный и щёлкаем на включатель. Можно повторить анало- гичный процесс на сайте https://ci.appveyor.com, если вы все-таки решили ис- пользовать Windows.
Начиная с этого момента каждый git push в ваш репозиторий будет запус- кать процесс непрерывной интеграции: сервисы Travis поднимут виртуальную машину, настроят среду, установят зависимости, скачают ваш проект, соберут

68 и протестируют его, а также, при желании, выложат инсталляторы, архивы с исходниками и документацию – всё согласно спецификации в YAML-файлах.
В создании YAML-файлов и заключается основная работа.
Когда вы зайдете на сайт travis-ci, вас попросят о входе через GitHub или
B
itbucket. Выбираем GitHub. Возможно, произойдет переключение на travis- ci.com, если вы заходите использовать приватные репозитории GitHub, но мож- но указать org и работать с org.
2.4
Создание проекта веб-приложения на Flask
Создадим на сайте GitHub новый проект. Можете заполнить файл readme.md.
Если будете использовать git client на своей машине, то лучше не делать этого сразу. Дальнейшие указания будут связаны с непосредственной работой через сайт GitHub. Создадим каталог, в котором будет храниться наш проект, flaskapp. Для этого выбираем Create New File (рис. 2.1).
Рис. 2.1 – Создание файла в проекте
Поставим слеш после имени каталога flaskapp и имя файла .gitkeep
(
рис. 2.2). В указанном файле можем написать, что угодно, например, для чего данный каталог. Нажимаем кнопку commit снизу.
Рис. 2.2 – Создание папки проекта и неиспользуемого файла

69
Теперь создадим файлы, в которых будут указаны библиотеки и иниции- рующие данные для реализации нашего веб-сервера. Перед разработкой веб-сервера желательно разработать модель будущего сайта, провести анализ требований пользователей, оценить возможную нагрузку на ваш сайт. Но мы пишем достаточно простое приложение, и поэтому пока изучим возможности
CI и создание простого веб-сервиса. В нашем каталоге на сайте создадим файл some_app.py, в котором содержится следующий код:
print
(
"Hello world"
)
Можно создать пустой файл и туда скопировать код, можно скопировать созданный файл с локального диска, затем реализовать commit.
После того как вы привязали свой проект на GitHub с непрерывной инте- грацией travis-ci, можно создать файл .travis.yml в проекте GitHub и после commit будет запущен build (рис. 2.3).
language
: python
install
:
- pip3 install flask
script
:
- python3 ./flaskapp/some_app.py
В данном случае наш проект пуст, и инсталляция Flask тут, по сути, тоже не нужна.
Рис. 2.3 – Пример подтверждения commit
Здесь мы просто запускаем скрипт, который напечатает "Hello world".

70
2.5
Продолжение простейшего эксперимента с проектом Flask
Продолжим дальше наши эксперименты уже непосредственно с простей- шим сайтом с использованием фреймворка Flask. С точки зрения непрерывной интеграции необходимо создать работающий веб-сайт, протестировать его и разместить на каком-либо хостинге. Система непрерывной интеграции позво- ляет это сделать, в частности, на Heroku. Пока попробуем просто запустить сайт в фоновом режиме. Для этого нам понадобится создать небольшой скрипт под Linux и изменить файл YAML. Удобнее всего это делать, используя git- клиент, но, если у вас его нет, можно воспользоваться непосредственно интер- фейсом сайта GitHub. Если создавать файлы из меню, это всякий раз будет вы- зывать процесс build на travis-ci при нажатии commit, очевидно, некоторые из этих build не сработают вовсе. Потому лучше создать у себя на диске от- дельную директорию и потом сделать upload содержимого директории на GitHub через интерфейс и подтвердить commit.
Рис. 2.4 – Папка проекта
Итак, какие файлы нам понадобятся в каталоге flaskapp. Файл, содержа- щий приложение Flask, назовем some_app.py. Можно создавать свой проект непосредственно в среде PyCharm, а затем скопировать весь проект на сайт
GitHub.
print
(
"Hello world"
)
from
flask
import
Flask app
=
Flask(
__name__
)
#декоратор для вывода страницы по умолчанию
@app.route
(
"/"
)
def
hello
():
return
"

1   2   3   4   5   6   7