Файл: азастан Республикасы ылым жне жоары білім министрлігі лФараби атындаы аза лтты университеті.docx

Big Data цифрлық ортада минут сайын жасалатын құрылымдық және құрылымдықталмаған деректердің көп мөлшерін сипаттайды. IBM әлемде кәсіпорындар күн сайын шамамен 2,5 квинтиллион байт деректерді өндіреді деп мәлімдейді! Жаһандық деректердің 90% -ы тек соңғы 2 жылда алынған.

Үлкен деректер нарықтағы жағдайды дәл сипаттау үшін бірнеше дереккөздерден алынған сәйкес және нақты ақпаратты біріктіреді. Әлеуметтік медиадан және іздеу шарттарынан алынған ақпаратты талдау арқылы компаниялар цифрлық маркетингтік стратегияларды және тұтынушылардың тәжірибелерін оңтайландырады. Мысалы, барлық бәсекелестердің акциялары туралы ақпарат фирма басшылығына клиентке тиімді «жеке» тәсіл ұсынуға мүмкіндік береді.

Үлкен деректерді талдау оны жинаудан басталады. Ақпарат барлық жерден алынады: біздің смартфондардан, несиелік карталардан, бағдарламалық қосымшалардан, автомобильдерден. Веб-сайттар үлкен көлемдегі деректерді беруге қабілетті. Әр түрлі форматтар мен шығу тәсілдеріне байланысты Big Data бірқатар сипаттамалармен ерекшеленеді (7-сурет):

1. Көлемі(Volume). Ұйымдар іскерлік операциялардан, ақылды құрылғылардан, өндірістік жабдықтардан, әлеуметтік медиадан және басқа да көздерден алатын үлкен «көлемдерді» бір жерде сақтау керек. Бұрын бұл проблема болған, бірақ ақпаратты сақтау жүйесінің дамуы жағдайды жеңілдетіп, ақпаратқа қол жетімді етті.

2. Жылдамдық(Velocity). Көбінесе бұл тармақ нақты уақыт режимінде деректерді алудың өсу қарқынын білдіреді. Кең мағынада сипаттама өзгеру жылдамдығы мен белсенділіктің қарқындылығына байланысты жоғары жылдамдықты өңдеу қажеттілігін түсіндіреді.

3. Әртүрлілік(Variety). Үлкен деректердің әртүрлілігі оның форматтарынан көрінеді: клиенттік базалардан құрылымдық нөмірлер, құрылымдалмаған мәтіндер, видео және аудио файлдар және бірнеше дереккөздерден алынған жартылай құрылымды ақпарат. Бұрын деректерді тек электрондық кестелерден жинауға болатын болса, бүгінде деректер электрондық поштадан бастап дауыстық хабарламаға дейін әртүрлі формада келеді.



7-сурет - Тәсілдердің айырмашылығы

Шын мәнінде, автомобиль индустриясына үлкен мәліметтерді енгізу қиын немесе көп уақытты қажет етпейді. Бұл көптеген заманауи машиналарда қазірдің өзінде бірнеше сенсорлар, кіріктірілген есептеу құралдары мен процессорларды қамтитын озық технологияларды қолданумен байланысты. Жалғыз айырмашылық - қазіргі уақытта ақпарат жергілікті жерде қалыптасады және сақталады, ал қосылған машиналарда Интернет барлық қосымшалардың уақтылы жаңаруы мен ақпаратты керекті жерге ауыстырудың кепілі бола алады. Деректер аналитикасының түрлері және олар жауап беретін сұрақтар байланысы 8-суретте көрсетілген.

---

8-сурет - Деректер аналитикасының түрлері және олар жауап беретін сұрақтар
Big Data аналитикалық жүйелерін енгізу-бұл бизнесті цифрландыру аясында жиі орындалатын кешенді кезеңдік жоба. Рецепт бойынша аналитика пирамиданың жоғарғы жағында орналасқан және алдыңғы деңгейлерге сүйенеді: болжалды, диагностикалық және сипаттамалық. Сондықтан деректер негізінде оңтайлы басқару шешімдерін қалыптастыру үшін, ең алдымен, Machine Learning алгоритмдерін дұрыс оқыту үшін жеткілікті осы ақпараттың тиісті көлемін жинақтау қажет. Кейбір аналитикалық тапсырмалар қазіргі заманғы BI құралдарымен шешіледі, мысалы, Oracle Data Mining, SAP BusinessObjects Predictive Analysis, SAP Predictive Maintenance and Service, IBM Predictive Insights немесе open-source шешімдері (KNIME, Orange, RapidMiner). Іс жүзінде цифрлық трансформация жолына түскен көптеген кәсіпорындар өздерінің үлкен деректерді талдау жүйелерін жасайды. Бұл ретте Big Data технологиясының алуан түрлері пайдаланылады, мысалы, Apache Hadoop – ақпаратты сақтау үшін (HDFS немесе HBase – те), Kafka – түрлі дереккөздерден деректерді жинау үшін, ал Spark немесе Storm-ағынды ақпаратты жылдам Талдамалық өңдеу үшін. Атап айтқанда, біз осы жерде айтқан Spotify ағындық сервисінің ұсыныс жүйесі осылай жүзеге асырылды. Осылайша, болжамды және, әсіресе, деректерді талдауды ұйымдастыру бизнесті цифрландырудың негізгі міндеттерінің бірі болып табылады.

Әрине, автомобиль өндірушілер автомобильдің барлық сипаттамаларын ескере отырып, бағдарламалық жасақтаманы қашықтықтан жаңарта алады. Мысалы, егер автомобильде майды ауыстыратын уақыт келсе немесе радиатордағы сұйықтық таусылса, өндіруші бұл туралы драйверге қашықтан хабарлай алады. Жеке тапсырмалар да едәуір жеңілдейді: жұмыстан үйге келе жатқанда, сіз электронды хаттарға жауап бере аласыз, Интернет-банкті тексеріп, төлемдер жасай аласыз.

Үлкен деректер дегеніміз - көптеген деректер көздерінен жиналған ақпарат, оларды талдау негізінде тұтынушылардың мінез-құлқы туралы қорытынды жасауға болады. Мысалы, пайдаланушылардың музыкалық талғамы мен жиі мейрамханалар арасында байланыс бар-жоғын анықтауға болады. Өз кезегінде, талдау деректері жарнамалық ресурстар мен бюджеттің бөлінуіне айтарлықтай әсер етуі мүмкін. Байланысты машиналардан алынған ақпарат коммерциялық мақсатта өте маңызды деп айтуға толық негіз бар.

Логистика туралы сөйлесейік. Байланысты машиналар мен үлкен деректерді пайдалану (оларды талдау және жинақтау) сізге көптеген көлік құралдарын басқаруға мүмкіндік береді. Датчиктер мүдделі тараптарды жылдамдық, тежеу ​​әдістері, маршруттар туралы хабардар етеді және осы деректердің барлығын ескере отырып, негізделген шешімдер қабылдауға болады, содан кейін олар жүргізушілерге беріледі. Ал егер интеллектуалды сенсорлық алгоритмдердің көмегімен автокөлік шешімдер мен жақсы жағдайларды өз бетінше ұсына алса, онда бұл әдетте өте жақсы нұсқа болады.

---

Автокөліктерге техникалық қызмет көрсету тәсілдері де өзгереді - алдын-алу шаралары онсыз да қалыптасқан жағдайға жауап беру шараларына қарағанда бірінші кезекке шығады. Барлық жүйелерді бақылау сізге мүмкін проблемаларды бұзылуына әкелместен бұрын анықтауға және жоюға мүмкіндік береді.

Үлкен көлемді мәліметтер жиынтығы сақтандыру компаниялары үшін өте пайдалы болуы мүмкін және олар бұл ақпаратты іс жүзінде қолдануға дайын. Жүргізушілердің жүрісі және көлік құралдарын пайдалану туралы ақылды датчиктерден деректерді пайдалану арқылы сақтандырушылар арнайы жасалған сақтандыру жоспарлары мен ұсыныстарынан пайда таба алады. Сақтандыру компаниялары қазірдің өзінде клиенттің жүргізушілік талдауына байланысты жеңілдіктер ұсынады. Үлкен деректердің арқасында апат фактісін ғана емес, мәнін де нақтылау және субъективті болады, өйткені алынған мәліметтер негізінде егжей-тегжейлерді көбейтуге болады. Сонымен қатар, деректерді жинау және оларды кейінгі талдау клиенттерді көлік құралдарын мұқият жүргізуге мәжбүр етеді, сондықтан біз қайтадан жол қауіпсіздігін арттыру туралы айтамыз. Бұл жаңа технологияларды қолданудың керемет нәтижесі болады, өйткені қауіпсіздік бірінші орында.

Үлкен деректерді жинау мен талдаудың негізгі әдістеріне мыналар жатады:

- Data Mining - ассоциативті ережелерді оқыту, классификация, кластер және регрессиялық талдау;

- краудсорсинг - халықтық күштердің мәліметтерді санаттарға бөлу және байыту, т.а. үшінші тұлғалардың ерікті көмегімен;

- сандық сигналдарды өңдеу және табиғи тілді өңдеу сияқты гетерогенді деректерді араластыру және біріктіру;

- жасанды нейрондық желілерді, желілік анализді, оңтайландыру әдістерін және генетикалық алгоритмдерді қамтитын машиналық оқыту (Machine Learning);

- үлгіні тану;

- болжамды аналитика;

- имитациялық модельдеу;

- кеңістіктік және статистикалық талдау;

- аналитикалық мәліметтерді визуалдау - суреттер, графиктер, диаграммалар, кестелер.

Үлкен деректер сізге жаңа мүмкіндіктер мен іскери модельдерді ашатын жаңа түсініктер алуға мүмкіндік береді. Үлкен деректерді бастаудың үш кезеңі бар.

Интеграция.Үлкен деректер технологиясы әртүрлі көздерден және қосымшалардан алынған деректерді біріктіруге мүмкіндік береді. Деректерді шығару, түрлендіру және жүктеу (ETL) құралдары сияқты дәстүрлі интеграция механизмдері мұны жасамайды. Терабайтты және тіпті петабайтты деректерді талдау жаңа стратегиялар мен технологияларды қажет етеді.

---

Интеграция кезеңінде корпоративтік талдаушыларға онымен жұмыс істеуге ыңғайлы болу үшін мәліметтер қосылады, өңделеді және форматталады.

Менеджмент.Үлкен деректерді сақтау қажет. Сақтау шешімі жергілікті жерде немесе бұлтта немесе екеуінде де орналастырылуы мүмкін. Сіз деректерді қалаған форматта сақтай аласыз және қажет болған жағдайда деректер жинағына қажетті өңдеу талаптарын (және өңдеудің қажетті механизмдерін) қолдана аласыз. Көптеген ұйымдар сақтау шешімдерін оның қайда сақталатынына қарай таңдайды. Бұлтты сақтау кеңінен танымал болып келеді, өйткені ол есептеудің соңғы талаптарын қолдайды және ресурстарды қажетіне қарай пайдалануға мүмкіндік береді.

Талдау.Үлкен деректерге салынған инвестициялар сіз деректерді талдай бастаған кезде және түсініктерге негізделген әрекеттерді бастаған кезде ақталады. Әр түрлі мәліметтер жиынтығынан көрнекі түсініктермен мөлдірлікті келесі деңгейге көтеріңіз. Жаңа ашылулар жасау үшін деректерді терең талдауды қолданыңыз. Өз жаңалықтарыңызды басқалармен бөлісіңіз. Машиналық оқыту мен жасанды интеллектті қолдана отырып, деректер модельдерін құру керек.

---

3.2 Жүргізуші профилін бағалау жүйесінің бизнес-процесстері

Жүргізуші профилін бағалау жүйесінің бизнес-процесстері құру негізгі 3 модельді құру үдерісінен тұрады (сурет 10).

3.1-сурет - Жүргізуші профилін бағалау жүйесінің бизнес-процесстері құру модельдері
3.2.1 UML тілінде жүргізуші профилін бағалау жүйесін сипаттау

Бірыңғай модельдеу тілі-бұл объектілерді басқару тобы ұсынған жүйені дамытуға арналған стандартты графикалық белгі. Белгілер Буч, Рамбо, Джейкобсонның шығармаларына негізделген. UML-бұл құжаттарды білдіруге және жобалауға арналған модельдеу тілі, бағдарламалық жасақтама, әсіресе бағдарланған дизайн үшін пайдалы. Тілді жалпы бастапқы жобалаудан бастап бағдарламалық жасақтаманы әзірлеудің бүкіл өмірлік циклі бойына нақты егжей-тегжейлі жобалауға дейін қолдануға болады. UML анықтамасы келесідей анықталады:

Бірыңғай модельдеу тілі (UML) - бұл бағдарламалық жүйелерді модельдеуге және дамытуға арналған графикалық тіл. UML диаграммалары өнімді жасаушылар талаптарды талдаудан, жобалаудан және іске асырудан бастап бағдарламалық жасақтаманы әзірлеудің барлық кезеңдерін талқылау үшін қолданатын қарапайым жұмыс құралына айналады. Мұндағы мақсат-бағдарламалық жасақтаманы жасамас бұрын оны модельдеу.

Дәйексөз: "Бірыңғай модельдеу тілі (UML) - бұл бағдарламалық жүйелерді, әсіресе объектіге бағытталған стильді қолдана отырып жасалған бағдарламалық жүйелерді сипаттауға және жобалауға көмектесетін бір метамодель қолдайтын графикалық белгілер тобы". [Мартин Фоулер-тазартылған UML] 1-бет.

Неліктен UML?

Бағдарламалық архитектуралардың мөлшері мен күрделілігі өскен сайын бағдарламалық модельдерге қажеттілік артады. UML-бағдарламалық жасақтама индустриясындағы басым модельдеу тілі. Қазіргі уақытта бұл әлемдегі ең ірі бағдарламалық консорциум Object Management Group қабылдаған defacto стандарты. Архитектурасын анықтау үшін UML қолданбайтын 10-нан астам әзірлеушілермен бағдарламалық жасақтама жобасын табу қиын.

Бағдарламалық жасақтаманы әзірлеу процесінде UML қолдану туралы тағы бірнеше фактілер:

Бағдарламалық жасақтама күрделене түсуде: Windows XP-нің ескі нұсқасында 40 миллионнан астам код жолдары бар.

Бір бағдарламашы кодтың бұл көлемін толығымен жеңе алмайды.

Кодты оны жазбаған әзірлеушілерге түсіну оңай емес.

---