Файл: азастан республикасыны білім жне ылым министрлігі ОРыт ата атындаЫ ызылорда мемлекеттік университеті жаратылыстану институты.docx

Лекция мақсаты: Нейрондық желілерде кіріс сигналдарын беру және шығыс сигналдарын алудың маңыздылығын түсіндіру.

Қарастырылатын негізгі сөздер: Жасанды нейрондық желі, нейрожүйелер, бейсызықты регресстік тәуелділіктер және т.б.

Есептерді нейрондықжелілерімен баяндау

Оқытылатын нейрондық желілер шеше алатын есептердің екі класын атап көрсетуге болады. Бұл классификация мен болжау есептері.

Күні бұрын айту немесе болжаудың есептері негізінен шығыс мәліметтердің кіріс мәліметтеріне регресстік тәуелділікті құру есебі болып табылады. Нейрондық желілер өте бейсызықты регресстік тәуелділіктерді нәтижелі құра алады. Негізінен формализацияламаған есептер шешілетіндіктен, пайдаланушыны ең алдымен түсінікті және теориялық негізінде дәлелденген тәуелділікті құру емес, алдын ала болжаушы құралын алуы ынталандырады, негізгі ерекшелігі де осында. Осындай құрылғының болжауы бірден пайдаланылмайды – пайдаланушы нейрожелінің шығыс сигналын өз білімдерінің негізінде бағалайды да, өзінің меншікті эксперттік нәтижесін қалыптастырады. Оқытылған нейрондық желі негізінде техникалық жүйеге арналған басқару құрылғысын жасайтын жағдайлар ғана ерекше болады.

Классификация есептерін шешкенде нейрондық желі қасиеттік кеңістікте бөлуші бетін салады, ал жағдайдың бұл немесе басқа класқа жатуы туралы шешімі дербес, желіге тәуелсіз құрылғысымен – желі жауабының интерпретаторымен қабылданады. Ең қарапайым интерпретатор бинарлық классификация (екі класқа классификациялау) есебін шешкенде пайда болады. Бұл жағдайда желінің бір шығыс сигналы жеткілікті, ал интерпретатор, мысалы, егер шығыс сигналы нольден кіші болса жағдайды бірінші класқа, және егер ол нольден үлкен немесе нольге тең болса екінші класқа жатқызады.

Бірнеше класқа классификациялау интепретатордың күрделендіруін талап етеді. "Жеңуші барлығын ала кетеді" деген интерпретаторы кең қолданылады, онда желінің шығыс сигналдарының саны кластардың санына тең, ал класс нөмірі ең үлкен шығыс сигналының нөміріне сәйкес келеді.

Бір нейрон желісі бір уақытта бірнеше сандарды алдын ала болжай алады, немесе классификация және болжаудың есептерін бір уақытта шеше алады. Бірақ осындай түрлі жағдайдың қажеттілігі аса сирек кездеседі, және әр түрлі мақсаттағы есептерді бөлек нейрондық желілерімен шешу жақсырақ болады.

Желіге кіріс сигналдарын беру және шығыс сигналдарын алу

Әдетте желінің синапстарының салмақтарына қандай да бір диапозонына жатуы талап етіледі. Нейрондардың ең жиі қолданылатын бейсызықты функциялары қандай да бір диапозонынан мән қабылдайды. Бұл желіге кіріс сигналдарын олардың нағыз диапозонында бере алмауына және керекті диапозонында шығыс сигналдарын ала алмауына әкеліп соғады.

Сондықтан желіге кіріс сигналдарын беру алдында оларды нормалау қажет, мысалы, оң болуы қажетті болса, [-1,1] немесе [0,1] мәндер диапозонына, немесе кіріс сигналдары осы кесінділердің шектерінен тым асып кетпеуін қадағалау қажет. Ең қарапайым нормалауды осылай орындауға болады. Кіріс мәліметтер векторының әрбір компонентасы x_i осындай мөлшермен ауыстырылады:

, (1)

мұндағы maxx_iмен minx_i - бұл осы компонентаның бүкіл оқытушы сұрыптауы бойынша есептелген максималды және минималды мәндері. Дәл осы формула бойынша жауап векторының компоненттері қайта есептеледі.

Басқаша да нормалауға болады, мысалы, мәліметтер шашуы дербес болатындай сұрыптауды түгендеу. Бірақ осында бір қиындық болады. Оқытушы сұрыптаудың кез келген өзгертуі сәйкес тиісті мәліметтердің нормалау ережесін де алмастыруы керек. Сондықтан әдетте осылай істейді: min және max-мөлшерлері ретінде қазіргі кезеңінде бар есептер жинағынан мәліметтерді алады, және де бұдан былай нормалауды алмастырмайды, ал егер бұдан былай тым көп айырмашылығы бар мәліметтер түсетіні шамаланса, min және max-мөлшерлері пайдаланушы бағалауларымен қойылады. Басқаша айтқанда, бұл мөлшерлер желі құрылған кезеңінде енгізілуі керек және де бұдан былай оқытушы сұрыптаудан тәуелді болмау қажет. Желінің шығыс сигналдары айналған формулаларымен нағыз мәндердің диапозонына тиісті нормалануы қажет .

Желілер-классификаторлар үшін шығыс сигналдарын нормалаудың қажеті жоқ, өйткені пайдаланушы желінің шығыс сигналдарын емес, жауап интерпретаторымен жағдайды бір немесе басқа бір класына жатқызу нәтижесін алады. Осы жағдайда есептер жинағының әрбір шығыс векторы жауап интерпретаторымен дұрыс өңделу үшін қайта құрылады. Мысалы, "жеңуші барлығын ала кетеді" деген интерпретаторымен үш класқа классификациялау кезінде класстың нөмірі үш сандарынан тұратын векторымен кодталады, онда класс нөміріне лайықты вектордың компонентасы 1 деген мәніне ие болады, ал қалған екеуі - -1 деген мән алады.

Басқа бір проблема - мәліметтердің кестесінде бос орындар болатын жағдай болады. Мәліметтердің осындай жоқ болатын компоненталардың орнына ноль беруге болады, оқытушы сұрыптауынан жинақтамаған векторларды шығаруға болады, желіні оқыту алдында бос орындарын қандай да бір шынайы мәндерімен толтыру есебін шешуге болады. Соңғысы дербес, жиі кездесетін және жеткілікті түрдегі күрделі проблема болып табылады.
Лекцияда пайдаланылатын слайдтар:

1. Нейрондық желілердегі сигналдар.

Пайдаланылған әдебиеттер тізімі:

Негізгі әдебиет

С.Хайкин. Нейронные сети: полный курс. 2-е изд. М., "Вильямс", 2006
Л.Г.Комарцова, А.В.Максимов. Нейрокомпьютеры. М., Изд-во МГТУ им.Баумана, 2004

Қосымша әдебиеттер

Терехов, С.А. Лекции по теории и приложениям искусственных нейронных сетей [Текст] / С.А. Терехов. – Снежинск: ВНИТФ, 2003. – 183 с.
Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика [Текст] / Ф. Уоссермен. — М.: Мир, 2006. — 240 с.

Бақылау сұрақтары:

1. Классификация есептерін шешкенде нейрондық желі қасиеттік кеңістікте қандай бет салады?

2. Желіге кіріс сигналдарын беру алдында оларды нормалау қажет пе?

3. Желіге кіріс сигналдарын беруге тоқталыңыз

Лекция №3. Нейрондық желі жеңілдету ережелері. Элементтердің бейсызықтығына қойылатын талаптар

1. Нейрондық желі жеңілдету ережелері.

2. Элементтердің бейсызықтығына қойылатын талап тар.

Лекция мақсаты: Нейрондық желілірді жеңілдетуде қолданылатын ережелер және элементтердің бейсызықтығына қойылатын талаптарды талдау.

Қарастырылатын негізгі сөздер: Жасанды нейрондық желі, нейрон, сәулет, синапс, сигмоидты функция және т.б.

Нейрондық желі жеңілдету ережелері

Сәулетке қойылатын талаптарды жазып қойып, желіні көбірек логикалық мөлдір жасайтын, одан ең аз мәнді кіріс сигналдары және элементтерін шығаратын белгілердің терімін анықтаймыз. Бұл белгілердің негізде желіні идеал логикалық мөлдір күй-жағдайына жақындататын сандық және сапалық бағалауларды құруға болады. Нақ осы белгілер пайдаланушыларымен маңыздылық дәрежесі бойынша бөлінетін болады және де пайдаланушылар нақ осы белгілердің тобына логикалық мөлдірліктің жаңа белгілерін қоса алатын болады.

Бұл белгілерді атап өтейік:

а) желіде неғұрлым нейрондардың қабаттардың саны азырақ болса, соғұрлым ол көбірек логикалық мөлдір болады. Алайда қабаттардың саны алдын ала желі құру кезінде белгілі болады. Бұл белгі желі қабаттарының саны шамадан тыс артық болғандағы және қарама-қарсы қоюдан кейін алдыңғы қабаттан кейінгі қабатына қарапайым ақпарат жіберуші болатын бөлек нейрондардың (немесе нейрондардың қабаттары) пайда болуы кезіндегі жағдайларда маңызды болады. Ондай нейрондардың жалғыз кірісі болады (және сонымен қатар оларда жалғыз шығысы бола алады). Бұндай нейрондарды мүмкіншілігі болса, тиісті ақпарат жіберуші сызықтарымен ауыстыру керек. Бірақ әдетте керексіз қабаттардан толық құтылу сәтті бола бермейді, сондықтан логикалық мөлдірліктің белгісінің ақырғы формулировкасын енгізуге болады – желіде кірісінен шығысына сигналдардың өту жолында неғұрлым нейрондардың саны аз болса, соғұрлым жақсырақ болады;

ә) желінің әрбір қабатында неғұрлым нейрондардың саны азырақ болса, соғұрлым жақсырақ болады. Бұл факті түсіндіруді талап етпейді – біз желінің әрбір қабатының генерацияланатын сигналдардың санын минимизациялаймыз, бұл тек қана нақты мәнді аралық сигналдарды (белгілерді) қалдыруға рұқсат етеді;

б) желінің кіріс сигналдарының саны неғұрлым азырақ болса, соғұрлым жақсырақ болады. Бұл белгі қасиеттердің " даңғыр өрісін " алып тастауына көмектеседі. Есепті дұрыс шешу үшін минималды қажетті ең мәнді кіріс белгілердің терімін қалдырады;

в) бір нейронына келетін сигналдарының саны неғұрлым азырақ болса, соғұрлым жақсырақ. Бұл бекіту адам бір уақытта заттардың аз санымен жұмыс істей алады деген фактіге сүйенеді. Бір нейронға келетін сигналдарының санын минимизациялап, біз пайдаланушыға нейрон генерациялайтын қасиеттің мазмұндық ұғыну есебін жеңілдетеміз, және де қасиетке ат беруіне көмектесеміз. Бірақ та осы белгіні модификациялау және желінің біркелкі қарапайымдылық белгісін енгізу қажет – желінің әрбір нейронына n-нан көп емес сигнал келу тиіс, мұндағы n жеткілікті түрде аз (2-3, бірақ пайдаланушымен де берілуі мүмкін);

г) желіде синапстардың жалпы саны неғұрлым азырақ болса, соғұрлым жақсырақ болады. Бұл белгі нейрондық желісінің барлық керексіз синапстарын жояды;

д) сигнал берілетін синапс нейронның біркелкісіз кірісінен логикалық мөлдір емес. Шынында да, нейронның біркелкісіз кірісі – ол жай ғана тұрақты, оның синапстан айырмашылығы, синапс оған түсетін сигналдың шамасын өзінің салмағына көбейтеді. Сондықтан, желіден ең алдымен синапстар шығарылуы тиіс, ал тек содан соң ғана – адаптивті сумматорлардың біркелкісіз кірістері:

е) қалпына келтірілетін параметрлерінің мәндерін белгіленген мәндердің ақырғы теріміне келтіруі қажет. Желінің параметрлерінің бинаризациясы қажетті – синапстарының салмақтарын мағыналарға -1 және 1 деген мәндеріне келтіру.

Элементтердің бейсызықтығына қойылатын талаптар

Нейрондық желілері арқылы кез келген үзіліссіз функцияны нейрондардың кез келген бейсызықтығы бар болғанда қандай да болмасын дәлдігімен жақындатуға болатындығы туралы теорема бар [4]. Ол үшін кез келген бейсызықты функциясының бар болуы жеткілікті. Бірақ есептің шешімін тапқанда желіні логикалық мөлдір түрге келтірудің осындай зор мүмкіндіктері бізге керек емес – қарапайым интерпретацияны рұқсат ететін бейсызықты функцияларымен қанағаттану керек. Бейсызықты функциялардың ең қарапайымы – бірлік функция. Егер бірлік бейсызықты функциясы бар нейронға келетін сигналдарының қосындысы 0-ден кіші немесе тең болса, одан әрі нейронның шығыс сигналына назар аудармауға болады – ол нольге тең болады да және келесі қабаттың нейрондарымен берілетін мәндеріне әсер етпейеді. Егер кіріс сигналдарының қосындысы нольден үлкен болса, нейрон бірлік шығыс сигналын генерациялайды және де осында тағы да бізге сигналдың мөлшері емес, нейронға әсер ету қандай да бір критикалық деңгейден асады да, нейрон қозды. Осындай босағалық нейрондар ең қарапайым интерпретацияны рұқсат етеді.