Maşın öyrənməsində perseptron ikili təsnifatçılar üçün nəzarət edilən öyrənmə alqoritmidir. Buna tez-tez perseptron da deyilir. İkili klassifikator ədədlərin vektoru ilə təmsil olunan girişin hansısa xüsusi sinfə aid olub-olmamasına qərar verə bilən funksiyadır. Bu, xətti təsnifatçının bir növüdür, yəni çəkilər toplusunu xüsusiyyət vektoru ilə birləşdirən xətti proqnozlaşdırıcı funksiya əsasında öz proqnozlarını verən təsnifat alqoritmidir.
Son illərdə dərin öyrənmədə irəliləyişlər sayəsində süni neyron şəbəkələri diqqəti cəlb edir. Bəs süni neyron şəbəkəsi nədir və o nədən ibarətdir?
Perceptron ilə tanış olun
Bu yazıda ümumi olaraq süni neyron şəbəkələrinə qısaca nəzər salacağıq, sonra tək bir neyrona baxacağıq və nəhayət (bu kodlaşdırma hissəsidir) süni neyron şəbəkəsinin ən sadə versiyasını götürəcəyik. neyron, perseptron və onun nöqtələrini təsnif edintəyyarə.
Heç düşünmüsünüzmü niyə hər hansı bir insan üçün bu qədər asan, lakin kompüterlər üçün inanılmaz dərəcədə çətin olan tapşırıqlar var? Süni Neyron Şəbəkələri (qısaca ANN) insanın mərkəzi sinir sistemindən ilhamlanıb. Bioloji analoqu kimi, ANN-lər də böyük şəbəkədə birləşdirilən sadə siqnal emal elementləri üzərində qurulur.
Neyron şəbəkələri öyrənməlidir
Ənənəvi alqoritmlərdən fərqli olaraq, neyron şəbəkələri nəzərdə tutulduğu kimi işləmək üçün "proqramlaşdırıla" və ya "tənzimlənə" bilməz. İnsan beyni kimi onlar da tapşırığı yerinə yetirməyi öyrənməlidirlər. Kobud desək, üç öyrənmə strategiyası var.
Nəticələri məlum olan test işi (kifayət qədər böyük) varsa, ən asan yoldan istifadə edilə bilər. Sonra təlim belə gedir: bir verilənlər toplusunu emal edin. Nəticəni məlum nəticə ilə müqayisə edin. Şəbəkəni qurun və yenidən cəhd edin. Bu, burada istifadə edəcəyimiz öyrənmə strategiyasıdır.
Nəzarətsiz öyrənmə
Test məlumatları olmadıqda və istənilən davranışdan bəzi xərc funksiyasını əldə etmək mümkün olduqda faydalıdır. Xərc funksiyası neyron şəbəkəyə onun hədəfdən nə qədər uzaq olduğunu bildirir. Şəbəkə daha sonra real data ilə işləyərək öz parametrlərini tənzimləyə bilər.
Gücləndirilmiş Öyrənmə
"Kök və çubuq" üsulu. Neyroşəbəkə davamlı bir hərəkət yaratdıqda istifadə edilə bilər. Zaman keçdikcə şəbəkə düzgün hərəkətlərə üstünlük verməyi və səhvlərdən çəkinməyi öyrənir.
Yaxşı, indi biz bir az biliriksüni neyron şəbəkələrinin təbiəti, lakin onlar tam olaraq nədən ibarətdir? Qapağı açıb içəri baxsaq nə görəcəyik?
Neyronlar neyron şəbəkələrinin tikinti bloklarıdır. Hər hansı bir süni neyron şəbəkəsinin əsas komponenti süni neyrondur. Onlar təkcə bioloji həmkarlarının adları ilə deyil, həm də beynimizdəki neyronların davranışından sonra modelləşdiriliblər.
Biologiya vs texnologiya
Bioloji neyronda siqnalları qəbul etmək üçün dendritlər, onları emal etmək üçün hüceyrə gövdəsi və digər neyronlara siqnal göndərmək üçün akson olduğu kimi, süni neyron da çoxlu giriş kanallarına, emal mərhələsinə və bir çıxışa malikdir. bir çox başqalarına yayılır. süni neyronlar.
Tək perseptronla faydalı bir şey edə bilərikmi? Tək perseptronun həll edə biləcəyi bir sinif problemi var. Giriş vektorunu nöqtə koordinatları kimi nəzərdən keçirin. n elementli vektor üçün bu nöqtə n ölçülü fəzada yaşayacaqdır. Həyatı (və aşağıdakı kodu) sadələşdirmək üçün onun 2D olduğunu düşünək. Kağız parçası kimi.
Sonra, təsəvvür edin ki, bu müstəvidə bəzi təsadüfi nöqtələr çəkirik və kağız üzərində düz xətt çəkərək onları iki dəstəyə ayırırıq. Bu xətt nöqtələri biri xəttin üstündə və biri altında olmaqla iki çoxluğa bölür. Sonra iki dəst xətti ayrıla bilən adlanır.
Bir perseptron, nə qədər sadə görünsə də, bu xəttin harada olduğunu bilməyə qadirdir və məşqi bitirdikdən sonra verilmiş nöqtənin bu xəttin üstündə və ya aşağıda olduğunu müəyyən edə bilər.
Tarixixtiralar
Bu metodun alqoritmi 1957-ci ildə Kornel Aviasiya Laboratoriyasında ABŞ Dəniz Tədqiqatları İdarəsi tərəfindən maliyyələşdirilən Frank Rosenblatt (çox vaxt onun adını daşıyır) tərəfindən icad edilmişdir. Perseptronun proqram deyil, maşın olması nəzərdə tutulmuşdu və onun ilk tətbiqi IBM 704 üçün proqram təminatında olsa da, sonradan o, "Mark 1 Perceptron" kimi xüsusi hazırlanmış aparatda həyata keçirildi. Bu maşın təsvirin tanınması üçün nəzərdə tutulmuşdu: onun neyronlara təsadüfi olaraq qoşulmuş 400 fotoseldən ibarət massivi var idi. Çəkilər potensiometrlərdə kodlandı və məşq zamanı çəki yeniləməsi elektrik mühərrikləri ilə edildi.
1958-ci ildə ABŞ Hərbi Dəniz Qüvvələrinin təşkil etdiyi mətbuat konfransında Rosenblatt gənc süni intellekt icması arasında qızğın müzakirələrə səbəb olan perseptron haqqında açıqlamalar verdi; Rosenblatt-ın iddialarına əsaslanaraq, New York Times xəbər verdi ki, qavrayış "Dəniz Qüvvələrinin yeriyə, danışa, görə, yaza, özünü çoxalda və varlığından xəbərdar olmasını gözlədiyi embrion elektron kompüterdir."
Əlavə inkişaflar
Preseptron əvvəlcə perspektivli görünsə də, tez bir zamanda sübut olundu ki, qavrayışçılar bir çox nümunə siniflərini tanımaq üçün öyrədilə bilməzlər. Bu, iki və ya daha çox təbəqədən (həmçinin adlanır) irəli ötürülən neyron şəbəkəsinin tanınmasından əvvəl uzun illər perseptron neyron şəbəkələri ilə tədqiqat sahəsində durğunluğa səbəb oldu.çoxqatlı qavrayış) tək qatlı qəbuledicilərdən (həmçinin tək qat perseptronlar da adlanır) daha çox emal gücünə malik idi. Bir qatlı perseptron yalnız xətti olaraq ayrıla bilən strukturları öyrənməyə qadirdir. 1969-cu ildə Marvin Minsky və Seymur Papertin məşhur "Perceptrons" kitabı göstərdi ki, bu şəbəkə sinifləri XOR funksiyasını öyrənə bilməz. Lakin bu, birqatlı perseptronda istifadə oluna bilən qeyri-xətti təsnifat funksiyalarına aid edilmir.
Belə funksiyaların istifadəsi XOR funksiyasının həyata keçirilməsi də daxil olmaqla perseptronun imkanlarını genişləndirir. Çox vaxt (səhv olaraq) güman edilir ki, onlar eyni nəticənin çoxqatlı perseptron şəbəkəsi üçün də keçərli olacağını güman edirdilər. Bununla belə, bu belə deyil, çünki həm Minski, həm də Papert çoxqatlı qavrayışların XOR funksiyasını yarada biləcəyini artıq bilirdilər. Üç il sonra Stiven Qrossberq diferensial funksiyaları, kontrastı gücləndirmə funksiyalarını və XOR funksiyalarını modelləşdirməyə qadir olan şəbəkələri təqdim edən bir sıra məqalələr nəşr etdi.
Əsərləri 1972 və 1973-cü illərdə nəşr olunub. Bununla belə, tez-tez nəzərdən qaçırılan Minsky/Papert mətni neyron şəbəkə perseptronuna marağın və tədqiqatın maliyyələşdirilməsinin əhəmiyyətli dərəcədə azalmasına səbəb oldu. 1980-ci illərdə neyroşəbəkə tədqiqatının yenidən canlanmasına qədər daha on il keçdi.
Xüsusiyyətlər
Perceptron Kernel Alqoritmi 1964-cü ildə Yzerman və başqaları tərəfindən təqdim edilmişdir. Mori və Rostamizadeh (2013), o, əvvəlki nəticələri genişləndirir və yeni L1 həddi verir.
Perceptron bioloji neyronun sadələşdirilmiş modelidir. Sinir davranışını tam başa düşmək üçün bioloji sinir modellərinin mürəkkəbliyi çox vaxt tələb olunsa da, tədqiqatlar göstərir ki, perseptron kimi xətti model real neyronlarda görülən bəzi davranışlara səbəb ola bilər.
Perceptron xətti təsnifatçıdır, ona görə də D təlim çoxluğu xətti olaraq ayrılmazsa, o, heç vaxt bütün giriş vektorlarının düzgün təsnif edildiyi vəziyyətə düşməyəcək, yəni. müsbət nümunələri mənfi nümunələrdən hipertəsərrüfatla ayırmaq mümkün deyilsə. Bu halda, heç bir "təxmini" həll standart öyrənmə alqoritmi ilə addım-addım keçməyəcək, bunun əvəzinə öyrənmə tamamilə uğursuz olacaq. Buna görə də, əgər məşq dəstinin xətti ayrılma qabiliyyəti apriori məlum deyilsə, aşağıdakı təlim seçimlərindən biri istifadə edilməlidir.
Cib Alqoritmi
Ratchet cib alqoritmi indiyə qədər tapılan ən yaxşı həlli "cibdə" saxlamaqla perseptron öyrənmə möhkəmliyi problemini həll edir. Cib alqoritmi daha sonra həlli son həlldən çox cibdə qaytarır. Məqsəd bir neçə səhv təsnifatı olan perseptron tapmaq olan qeyri-ayrılmayan verilənlər topluları üçün də istifadə edilə bilər. Bununla belə, bu həllər stoxastik görünür və buna görə də cib alqoritmi onlara uyğun gəlmir.təlim zamanı tədricən və onların müəyyən sayda təlim addımlarında aşkar ediləcəyinə zəmanət verilmir.
Maksover Alqoritmi
Maksoverin alqoritmi verilənlər toplusunun xətti ayrıla bilməsindən asılı olmayaraq birləşəcəyi mənasında "möhkəmdir". Xətti bölünmə vəziyyətində, bu, isteğe bağlı olaraq optimal sabitlik (siniflər arasında maksimum marja) ilə belə öyrənmə problemini həll edəcəkdir. Ayrılmayan verilənlər dəstləri üçün az sayda səhv təsnifatı olan həll qaytarılacaq. Bütün hallarda, alqoritm öyrənmə prosesi zamanı əvvəlki vəziyyətləri xatırlamadan və təsadüfi sıçrayışlar olmadan tədricən həllə yaxınlaşır. Konvergensiya paylaşılan məlumat dəstləri üçün qlobal optimallıqda və ayrılmayan məlumat dəstləri üçün yerli optimallıqdan ibarətdir.
Voted Perceptron
Səs Verilmiş Perseptron alqoritmi çoxlu ölçülmüş qavrayışlardan istifadə edən variantdır. Alqoritm misal hər dəfə səhv təsnif ediləndə yeni perseptronu işə salır, çəki vektorunu sonuncu perseptronun son çəkiləri ilə işə salır. Hər bir qavrayışa, eyni zamanda, birini səhv təsnif etməzdən əvvəl neçə nümunəni düzgün təsnif etdiklərinə uyğun fərqli çəki veriləcək və nəticədə bütün qavrayış üzrə ölçülmüş səs veriləcək.
Tətbiq
Ayrılan problemlərdə perseptron təlimi həm də siniflər arasında ən böyük ayırma sərhədini tapmağa yönəldilə bilər. SözdəOptimal sabitlik perseptronu Min-Over və ya AdaTron alqoritmi kimi təkrarlanan təlim və optimallaşdırma sxemlərindən istifadə etməklə müəyyən edilə bilər. AdaTron müvafiq kvadratik optimallaşdırma probleminin qabarıq olması faktından istifadə edir. Optimal sabitlik perseptronu nüvə hiyləsi ilə birlikdə dəstək vektor maşınının konseptual əsasını təşkil edir.
Alternativ
Birdən çox təbəqədən istifadə etmədən qeyri-xətti problemləri həll etməyin başqa bir yolu daha yüksək səviyyəli şəbəkələrdən (siqma-pi bloku) istifadə etməkdir. Bu tip şəbəkələrdə giriş vektorunun hər bir elementi çoxaldılmış girişlərin hər bir cüt kombinasiyası ilə genişləndirilir (ikinci sıra). Bu, n-sifarişli şəbəkəyə qədər genişləndirilə bilər. Perceptron çox çevik bir şeydir.
Lakin unutmayın ki, ən yaxşı təsnifat bütün məşq məlumatlarını dəqiq təsnifləşdirən deyil. Həqiqətən, əgər verilənlərin bərabər variantlı Qauss paylamalarından əldə edilməsinə dair əvvəlcədən məhdudiyyətimiz olsaydı, giriş fəzasında xətti bölünmə optimaldır və qeyri-xətti həll ləğv edilir.
Digər xətti təsnifat alqoritmlərinə Winnow, dəstək vektoru və logistik reqressiya daxildir. Perceptron universal alqoritmlər toplusudur.
Nəzarət olunan öyrənmə üçün əsas sahə
Nəzarət edilən öyrənmə girişi çıxışa uyğunlaşdıran funksiyanı öyrənən maşın öyrənməsi tapşırığıdırI/O cütlərinin nümunələri əsasında. Onlar bir sıra nümunələrdən ibarət etiketli təlim məlumatlarından bir xüsusiyyət çıxarırlar. Nəzarət olunan öyrənmədə hər bir nümunə giriş obyekti (adətən vektor) və arzu olunan çıxış dəyərindən (həmçinin idarəetmə siqnalı adlanır) ibarət cütdür.
Nəzarət olunan öyrənmə alqoritmi təlim məlumatlarını təhlil edir və yeni nümunələri göstərmək üçün istifadə oluna biləcək təxmin edilən funksiya yaradır. Optimal ssenari alqoritmə görünməz nümunələr üçün sinif etiketlərini düzgün müəyyən etməyə imkan verəcəkdir. Bunun üçün öyrənmə alqoritmindən öyrənmə məlumatlarını "məqbul" şəkildə görünməyən vəziyyətlərə ümumiləşdirmək tələb olunur.
İnsan və heyvan psixologiyasında paralel tapşırıq çox vaxt konseptual öyrənmə adlanır.
