Файл: Научнообразовательный журнал для студентов и преподавателей.docx

---

received. Therefore, recently, ways to simplify data mining and analysis capabilitieshave been actively developed: RapidMiner, the R programming language, and DataMiningmethods.However,alloftheabovemethodsarequitedifficultfortheaverageuser.Theauthorofthisarticlesuggestsusingsmallparserstosimplifytheuser'sworkand the processingof largesiteswithdata.Goal.Toconsiderthepossibilityofusingpythontoolsforprocessingandanalyzingbig data.Practical significance. The proposed method can be used by a wide range of userswhodonothavetobeprogrammersorengineers.Suchscriptscanbeeasilyconfigurable,dynamicallychanging,and easytohandle.Ключевые слова: большие данные, Data Moning, парсинг, python разработка,анализданных,машинноеобучение.Keywords:bigdata,DataMoning,parsing,pythondevelopment,dataanalysis,machinelearning.

1. Введение

Big Data, или «большие данные» по-русски - термин, появившийся совсемнедавно-всегошестьлетназад.Ноэтонеозначает,чтоодновременновозниклоисамоявление.Большимиданнымипринятоназыватьбольшиеобъемыинформации со сложной неоднородной и / или неопределенной структурой.Иногда о больших данных говорят как о неструктурированной информации, ноэтоневерно-большиеданныевсегдаимеютструктуру,онимогутбытьсложными из-за того, что данные поступают из разных источников и содержатсовершенноразнуюинформациюилисовершеннонеизвестны.Тоесть,какправило,собратьэтустопкуводнутаблицунеудается.Большиеданные(BigData)-этоструктурированные

---

и неструктурированные данные огромных объемов и разнообразия, а также методы их обработки, которые позволяют распределенно анализировать информацию.
Для аналитической обработки Больших Данных используется широкий спектр методов и алгоритмов. Это методы классов Data Mining (поиск ассоциативных правил, классификация, кластеризация и др.) и Machine Learning, искусственные

нейронные сети и распознавание образов, имитационное моделирование, статический анализ и др.
Стоит заметить, что в России под термином «Big Data» подразумевают также технологии обработки, а в мире — лишь сам объект исследования.

2. Актуальность

Актуальность работы обусловлена тем, что количество источников данныхстремительно растёт, а значит технологии их обработки становятся всё болеевостребованными.Стоитотметить,чтоБольшиеданные,неумолимовнедряютсяпрактическивовсе сферы жизни. Не иметь подобающих инструментов для анализа и обработкиэтих данных, значит подтверждать свою беспомощность и несостоятельность винформационном обществе.

3. Функции и задачи больших данных

Когдаговорято Big Data,упоминаютправилоVVV —трипризнакаилисвойства,которымибольшие данныедолжныобладать:

• 
  Volume (объем)— данные измеряются по величине физического объема документов.
  
• 
  Velocity (быстрота) — данные регулярно обновляются, что требует их постоянной обработки.
  
• 
  Variety (разнообразие) — разнообразные данные могут иметь неоднородные форматы, быть неструктурированными или структурированными частично.
  

4. Методики анализа больших данных

Существует множество разнообразных методик анализа массивов данных, в

---

основекоторыхлежитинструментарий,заимствованныйизстатистикииинформатики (например,машинноеобучение).Вотнекоторыеизних:

• 
  методыклассаDataMining:изучение правил ассоциации (англ. association rule learning), классификация (методы классификации новых данных на основе принципов, ранее применявшихся к существующим данным), кластерный анализ, регрессионный анализ;
  

Знания,обнаруженныевпроцессеDataMining,должныбытьнетривиальными и ранее неизвестными. етривиальность означает, чтотакиезнаниянемогутбытьобнаруженыпростымвизуальныманализом.Онидолжныописыватьвзаимосвязимеждусвойствамикоммерческих объектов, прогнозировать значения одних функций наоснове других и т.д. Полученные знания должны применяться к новымобъектам.

• 
  краудсорсинг— категоризация и обогащение данных широким, неопределенным кругом лиц, работающих на основе публичной оферты без вступления в трудовые отношения.
  
• 
  смешение и интеграция данных (англ. data fusion and integration) — набор методов, которые объединяют разнородные данные из разных источников для проведения углубленного анализа. Примеры таких методов, составляющих этот класс методов, включают в себя цифровую обработку сигналов и обработку естественного языка (включая тональный анализ);
  
• 
  машинное обучение, включая обучение с учителем и без учителя, атакжеEnsemblelearning(англ.) — использование моделей, построенных на базе статистического анализа или машинного обучения для получения комплексных прогнозов на основе базовых моделей (англ. constituent models, ср. состатистическим ансамблем в статистической механике);
  

---

Стоитотметить,чтопринятовыделять2типамашинногообучения:

• 
  Индуктивное или по прецедентам, которое основано на выявлении эмпирических закономерностей во входных данных;
  
• 
  Дедуктивное, которое предполагает формализацию знаний экспертов и их перенос в цифровую форму в виде базы знаний.
  
• 
  искусственныенейронныесети,сетевойанализ,оптимизация,втомчисле генетическиеалгоритмы;
  
• 
  распознаваниеобразов;
  
• 
  прогнознаяаналитика;
  
• 
  имитационноемоделирование;
  
• 
  пространственный анализ (англ. Spatial analysis) — класс методов, использующих топологическую, геометрическую и географическую информацию в данных;
  
• 
  статистический анализ, в качестве примеров методов приводятся A/B-тестирование и анализ временных рядов;
  
• 
  визуализация аналитических данных — представление информации в виде изображений, диаграмм с использованием интерактивных функций и анимации, как для получения результатов, так и для использования в качестве исходных данных для дальнейшего анализа.
  

ВрамкахданнойработырассмотримпоподробнееклассData mining.

5. Data Mining.

Data Mining – это процесс обнаружения в "сырых" данных ранее неизвестныхнетривиальных,практическиполезныхиинтерпретируемыхзнаний,необходимыхдляпринятиярешенийвразличныхсферахчеловеческойдеятельности. Data Mining является одним из шагов Knowledge Discovery inDatabases.КметодамиалгоритмамDataMiningотносятся:

• 
  искусственные нейронные сети
  
• 
  деревья решений, символьные правила
  
• 
  методы ближайшего соседа и k-ближайшего соседа
  
• 
  метод опорных векторов
  
• 
  байесовские сети
  
• 
  линейная регрессия
  
• 
  корреляционно-регрессионный анализ
  
• 
  иерархические методы кластерного анализа
  
• 
  неиерархические методы кластерного анализа, в том числе алгоритмы k-средних и k-медианы
  
• 
  эволюционное программирование и генетические алгоритмы
  
• 
  метод ограниченного перебора
  
• 
  эволюционное программирование и генетические алгоритмы
  
• 
  разнообразные методы визуализации данных и множество других методов.
  

---