Файл: азастан республикасыны білім жне ылым министрлігі ОРыт ата атындаЫ ызылорда мемлекеттік университеті жаратылыстану институты.docx

Бірақ нейрондық желісін екі жақтылық әдісі үшін нейрондардың бейсызықты функциясының үзіліссіз бірінші ретті туындының болуы қажетті, ал ол босағалық нейронға жетпейді. Сондықтан қандай да бір үзіліссіз дифференциалданатын функцияларды қолданатын және желіні одан әрі оқыту керек емес болған жағдайда босағалықтарға көшетін жолын ұсынуға болады.

Нейронның ең жиі қолданылатын бейсызықты функциясының біреуінің - f(A)=A/(c+|A|) сигмоидты функциянықарап шығамыз. Мұндағы c – қалпына келтірілетін параметрі. Функцияның үзіліссіз бірінші ретті туындысы бар және де ол [-1,1] диапазонынан мәндерді қабылдайды. c-ның  ұмтылуы жайпақ сигмоидты, 0-ге ұмтылуы - sgn(A) босағалық функциясына жақын сигмоидты және нольдік кіріс сигналы кезінде үшінші тұрақты күй – жағдайы – ноль болатын сигмоидты береді. Бірақ c-ның мәні – сигмоидтық функциясының тікелік параметрі – әдетте, желі құру кезінде барлық нейрондарына бірдей етіп орналастырылады және де оқытылатын параметрлердің қатарына қосылмайды, өйткені бұл көп жағдайда нейрондық желісінің интер- мен экстраполяциялық қабілеттіліктерінің нашарлауына әкеледі. Шынында да, нейрондық желі алғашқыда үлкен болатындықтан, оған әдетте, есепті шешуге оңай үйрену үшін регресстік тәуелділікті құрудың орнына есептер жинағындағы функциялардың терімін дельта-функцияларға жақындарға (ал, нақтырақ айтсақ, "колокол тәріздес" функциялардың терімі) жақындату жеңіл болады.

Осы кезде оқыту кезінде тікелік параметрлері нольге ұмтылады.

Нейрондық желісінен аз мәнді кіріс сигналдары және элементтерді алып тастау нейрондық желісінің артықшылық пен иілгіштігін төмендетеді, сондықтан желінің артықшылығын одан әрі төмендету үшін сигмоиданың тікелік параметрлерінің оқытуын бастау мүмкіншілігі туады.

Нейронның қалпына келтірілетін с параметрін оқыту желінің қарама-қарсы қоюға қажетті барлық синапстары қарама-қарсы қойылғаннан кейін іске асырылады. Егер берілген нейронда тек қана бір кіріс синапсы қалса, онда осындай нейрон тек алдындағы қабаттан келесі қабатқа қарапайым сигнал жіберуші болып табылады. Осындай нейронды бірлік салмақты адаптивті емес синапсымен ауыстырып, нейрон өзінің сигналдарын жіберген (немесе желінің бүкіл синапстарын) синапстарын жанастырып желіні қайта оқыту арқылы одан құтылуға талаптануға болады.

Егер осындай қайта оқыту мүмкін емес болса, онда осы нейронның бейсызықтығы есепті дұрыс шешу үшін шыңымен керек екенін көреміз де, ондай нейронды қалдыру қажет болады.

Егер нейронда бірнеше кіріс сигналдары болса, немесе нейронды сызықты байланыспен ауыстыру мүмкін емес болса, онда нейронның бейсызықты функциясын босағалық түріне келтіруге талпынуға болады.

Мұнда бейсызықты функцияның қалпына келтірілетін параметрінің мәнін тізбекті азаюы мен желіні қайта оқыту қолданылады. Егер бейсызықты функцияны босағалық функцияға ауыстырудан кейін, қандай да бір сәттен кейін, желінің жұмыс істеуінің дұрыстығы сақталса, онда сондай ауыстыру іске асырылады. Әйтпесе, қалпына келтірілетін параметрдің мәнін қандай да бір минималды мәнге дейін одан әрі азаюын жалғастырамыз да, бейсызықтылықты босағалық түрге келтіру әрекетінен бастартамыз.

Әрине, желіні екі жақтылық әдісімен оқыту кезінде бір уақытта желінің барлық нейрондарының бейсызықты функцияларын босағалық түріне келтіруге талаптану керек.
Лекцияда пайдаланылатын слайдтар:

1 2 3 4 5 6 7 8 9 ... 17

Нейрондық желі жеңілдету ережелері.

Нейронның ең жиі қолданылатын бейсызықты функциясы.

Пайдаланылған әдебиеттер тізімі:

Негізгі әдебиет

А.И.Галушкин. Нейронные сети. Основы теории. М., Горячая линия - Телеком, 2010.
Р.Дуда, П.Харт. Распознавание образов и анализ сцен. М., Мир, 1976, 512 с.

Қосымша әдебиеттер

Хайкин, С. Нейронные сети: полный курс [Текст] / С. Хайкин. – М.: Вильямс, 2006. — 1104 с.

Бақылау сұрақтары:

1. Нейрондық желілердегі логикалық мөлдірліктің жаңа белгілерін атаңыз

2. Бейсызықты функциялардың ең қарапайымы қалай аталады?

3. Нейрондық желісінің артықшылығы мен иілгіштігін төмендететін жағдайларды атаңыз

Лекция №4. Нейрондық желілерді логикалық мөлдір түрге келтіру. Нейрондық желілердің вербализациясы

1. Логикалық мөлдірліктің белгілері.

2. Желі логикалық мөлдір түрінің вербализациясы.

3. Желінің кіріс және шығыс сигналдары.

Лекция мақсаты: Нейрондық желілірді логикалық мөлдір түрге келтірумен және вербализация процесімен таныстыру.

Қарастырылатын негізгі сөздер: Жасанды нейрондық желі, нейрон, логикалық мөлдірлік, априорлы берілетін шектер, вербализация және т.б.

Нейрондық желілерді логикалық мөлдір түрге келтіру

Сонымен, нейрондық желісін желі ұйымдастырған дағдыны оңай оқып шығатындай қалай модификациялау керек екенін көрсететін белгілердің терімі бар.

Әр түрлі нейрондық желілерін мен нейрожелілік сәулеттерін логикалық мөлдірлігі дәрежесімен салыстыруға болмайды. Логикалық мөлдірліктің белгілері – бұл нейрондық желісінің есепті шешу процесін пайдаланушыға түсінікті баяндауды құруды жеңілдететін қарапайым белгілер. Бірақ, логикалық мөлдір желіге қарағанда пайдаланушыға көбірек түсінікті түсіндірмесін беретін логикалық мөлдір сәулетті жоқ желі немесе есеп кездесе алады. Сондықтан логикалық мөлдірліктің белгілері – бұл пайдаланушыға желінің есепті шешу процесін баяндауды потенциалды көбірек түсінікті және қарапайым беретін белгілер. Осыған орай логикалық мөлдірліктің дәрежесіне қарап тек қана бастапқы нейрондық желісін немесе одан бір қадамды жеңілдетуінен туындаған желілерді салыстыруға болады. Логикалық мөлдірліктің белгілері желіні бір қадамды жеңілдетудің жай ең оптималды бағыттарын береді. Шынында да, желінің синапстарын жай түрдегі тізбекті қысқарту бір уақытта кіріс сигналдарының санының және нейрондарының санының қысқартуын бере алады, бірақ ол желідегі дағдыны барынша қарапайым оқып шығуына жетуіне кепілдік бермейді.

Нейрондық желісін логикалық мөлдір түрге келтіруін көбірек формалды суреттеп айтамыз:

а) нейрондық желіге қойылатын априорлы берілетін шектер бар (қабаттылық, сәулеттің бір қалыптылығы). Бұл шектерді нейрондық желісін құру кезінде ескеру керек;

ә) нейрондық желісін оқытуынан кейін қайта оқытуын пайдаланатын оңайлату процесі басталады. Мына кезеңінде "жақсырақ - нашарлау" типті сызықты шкалаларының терімі пайда болады, олар желі сәулетінің логикалық мөлдірліктің жағына бір қадамды өзгертуінің бағытын береді. Бұл белгілері пайдаланушыларымен маңыздылық дәрежесі бойынша ранжирленген. Осы белгілерге сүйеніп, нейрондық желі барынша көп логикалық мөлдір түрге тура келеді;

б) ең аз сәулетті желі алынады. Желінің қалпына келтірілетін парамерлерінің шекті мағыналарына келтіруін орындаймыз. Желінің синапстары үшін шекті мағыналарға келтіруі олардың бинаризациясы, ал нейрондардың параметрлері үшін – нейрондарды сызықты байланыспен немесе босағалық нейрондарымен ауыстыруы мүмкін болатын мағыналарға келтіруін білдіреді;

в) нейрондық желінің құрылымының эквиваленттік өзгертулерді өткізуі. Осылай, мысалы, нейронның бейсызықты функциялары нольге қарағанда симметриялы болғандықтан, әрбір нейрон үшін оның барлық синапстарының және нейронның шығыс сигналы жіберілетін барлық синапстарының салмақтарының белгісінің бір уақытта алмастыруы мүмкін, сондай-ақ желінің есепті дұрыс шешілуі сақталады. Сондықтан, мысалы, желінің синапстарының салмақтарының жалпы санын минимумге келтіру мүмкіншілігі көрінеді. Бұл пайдаланушыға желіні вербализациялауын оңайлатады деген болжам бар.

Берілген желіден ең логикалық мөлдір желісін автоматты түрде алатын алгоритмін ұсынып жасау жеткілікті түрде күрделі болады. Нейрондық желілерді логикалық мөлдір түрге келтіру мүмкіндігін беретін бағдарламалық өнімді зерттеп жасағанда, не пайдаланушының қолына желіні оңайлататын барлық элементарлық процедуралардың терімін беру керек, не желінің оңайлатуын оңайлату әдістерін өзгерте отыратын және оптималды шешім алу үшін алынатын нәтижелерді бағалайтын бірнеше рет іске асырылатын автоматты процедураны құру керек.

Нейрондық желілердің вербализациясы

Желі логикалық мөлдір түрге келтірілген соң, ондағы дағдының вербализациясын пайдаланушыға түсінікті түрде іске асыру қажет. Бұл нейрондық желісінің желі логикалық мөлдір түрге келтірілген соң, ондағы дағдының вербализациясын құрылымының графикалық, визуалды немесе мәтіндік көрсету негізінде жасалады.

Вербализация пәндік облысының ұғымдарының симптом – синдромды құрылымын қалпына келтіру процесі сияқты өткізіледі де, пайдаланушының тікелей қатысуын талап етеді.

Желінің кіріс сигналдары кіріс симптомдары, ал желінің бірінші қабатының нейрондарының шығыс сигналдары – бірінші деңгейдің синдромдары және де бір уақытта екінші қабаттың нейрондарына арналған кіріс симптомдары болады да, олар екінші деңгейдің синдромдарын генерациялайтын болады және т. с. с. Пайдаланушы тізбекті түрде бір қабаттан кейін екінші қабатты өткенде, кіріс симптомдарының баяндауы және олардың нейрондарына топталудың негізінде осы қабат генерациялайтын синдромдарына қандай да бір мағыналы аттар және интерпретациялар бере алады.

Нәтижесінде ойлап айтылған мәтінді аламыз, ол қандай да бір проблемалық облысының терминдерінде ой жүгіртулердің ағашын суреттейді. Принципиалды, бір мәліметтер кестесі мен әртүрлі желілері үшін (немесе тіпті бір желі үшін, бірақ қалпына келтірілетін параметрлердің берілген мәндерінің әр түрлі бастапқы кездейсоқ генерациясымен) оқыту, оңайлатулар және вербализациядан кейін бірнеше әртүрлі логикалық мөлдір желілер және де сәйкесінше, есепті шешудің бірнеше жартылай эмпирикалық теориялар пайда болуы мүмкін. Ал бұл жетіспеушілік болып көрінбейді.
Лекцияда пайдаланылатын слайдтар:

Нейрондық желілердің логикалық мөлдір түрі және вербализациясы.

Пайдаланылған әдебиеттер тізімі:

Негізгі әдебиет

Галушкин, А.И. Применения нейрокомпьютеров в финансовой деятельности [Текст] / А.И. Галушкин. – Новосибирск: Наука, 2002. – 215с.
Ефимов, Д.В. Нейросетевые системы управления [Текст] / Д.В. Ефимов. – М.: Высшая школа, 2002. — 184 с.

Қосымша әдебиеттер

Нейронные сети. Алгоритм обратного распространения [электронный ресурс]: http://ai.obrazec.ru/neur-2.html
Нейронные сети: обучение без учителя [электронный ресурс]: http://www.codenet.ru/progr/alg/ai/htm/gl3_4.php