İnformasiya entropiyası anlayışı dəyər üçün ehtimal kütlə funksiyasının mənfi loqarifmini nəzərdə tutur. Beləliklə, məlumat mənbəyi daha az ehtimala malik bir dəyərə malik olduqda (yəni, aşağı ehtimalı olan hadisə baş verdikdə), hadisə mənbə məlumatının daha yüksək ehtimala malik dəyəri ilə müqayisədə daha çox “məlumat” (“sürpriz”) daşıyır..
Bu şəkildə müəyyən edilmiş hər bir hadisə ilə ötürülən məlumatın miqdarı gözlənilən dəyəri informasiya entropiyası olan təsadüfi dəyişənə çevrilir. Ümumiyyətlə, entropiya nizamsızlığa və ya qeyri-müəyyənliyə aiddir və onun məlumat nəzəriyyəsində istifadə olunan tərifi statistik termodinamikada istifadə edilənlə birbaşa analojidir. IE konsepsiyası Klod Şennon tərəfindən 1948-ci ildə "A Riyazi Rabitə Nəzəriyyəsi" adlı məqaləsində təqdim edilmişdir. "Şennon məlumat entropiyası" termini buradan gəldi.
Tərif və sistem
Məlumat ötürmə sisteminin əsas modeli üç elementdən ibarətdir: məlumat mənbəyi, rabitə kanalı və qəbuledici,və Şennonun dediyi kimi, “əsas rabitə problemi” qəbuledicinin kanal üzərindən qəbul etdiyi siqnal əsasında mənbə tərəfindən hansı məlumatların yaradıldığını müəyyən edə bilməsidir. Entropiya sıxılmış mənbə məlumatlarının mümkün olan ən qısa orta itkisiz kodlaşdırma uzunluğuna mütləq məhdudiyyət təmin edir. Mənbənin entropiyası rabitə kanalının bant genişliyindən azdırsa, onun yaratdığı məlumatlar qəbulediciyə etibarlı şəkildə ötürülə bilər (ən azı nəzəri olaraq, məlumatların ötürülməsi üçün tələb olunan sistemin mürəkkəbliyi kimi bəzi praktiki mülahizələrə məhəl qoymayaraq). və məlumatların ötürülməsi üçün lazım olan vaxt).
İnformasiya entropiyası adətən bitlərlə (alternativ olaraq "şannonlar" adlanır) və ya bəzən "təbii vahidlər" (nat) və ya onluq yerlərlə ("dits", "bans" və ya "hartleys" adlanır) ölçülür. Ölçü vahidi entropiyanı təyin etmək üçün istifadə edilən loqarifmin əsasından asılıdır.
Xassələr və loqarifm
Lütfün ehtimal paylanması entropiya ölçüsü kimi faydalıdır, çünki o, müstəqil mənbələr üçün əlavədir. Məsələn, bir sikkənin ədalətli mərcinin entropiyası 1 bit, m-həcmlərin entropiyası isə m bitdir. Sadə təsvirdə log2(n) bitləri, əgər n 2-nin gücüdürsə, n dəyərdən birini qəbul edə bilən dəyişəni təmsil etmək üçün lazımdır. Bu dəyərlər eyni dərəcədə ehtimal olunursa, entropiya (bit ilə) olur. həmin rəqəmə bərabərdir. Dəyərlərdən biri digərlərindən daha çox olarsa, bunun olduğu müşahidə edilirməna baş verir, hansısa daha az ümumi nəticənin baş verəcəyindən daha az informativdir. Əksinə, daha nadir hadisələr əlavə izləmə məlumatı təmin edir.
Daha az ehtimal olunan hadisələrin müşahidəsi daha az olduğu üçün qeyri-bərabər paylanmış məlumatlardan əldə edilən entropiyanın (orta məlumat hesab olunur) həmişə log2(n)-dən az və ya ona bərabər olmasında ümumi heç nə yoxdur. Bir nəticə müəyyən edildikdə entropiya sıfırdır.
Şennon məlumat entropiyası əsas məlumatların ehtimal paylanması məlum olduqda bu mülahizələri kəmiyyətləşdirir. Müşahidə olunan hadisələrin mənası (mesajların mənası) entropiyanın tərifində əhəmiyyətsizdir. Sonuncu yalnız müəyyən bir hadisəni görmə ehtimalını nəzərə alır, ona görə də onun əhatə etdiyi məlumat hadisələrin özünün mənası haqqında deyil, imkanların əsas paylanması haqqında məlumatdır. İnformasiya entropiyasının xassələri yuxarıda göstərildiyi kimi qalır.
İnformasiya nəzəriyyəsi
İnformasiya nəzəriyyəsinin əsas ideyası ondan ibarətdir ki, insan bir mövzu haqqında nə qədər çox bilsə, onun haqqında bir o qədər az məlumat əldə edə bilər. Əgər hadisə ehtimalı yüksəkdirsə, onun baş verməsi təəccüblü deyil və buna görə də çox az yeni məlumat verir. Əksinə, hadisənin baş verməsi ehtimalı yox idisə, bu hadisənin baş verməsi daha çox məlumatlandırıcı idi. Buna görə də faydalı yük hadisənin tərs ehtimalının artan funksiyasıdır (1 / p).
İndi daha çox hadisə baş verərsə, entropiyahadisələrdən biri baş verərsə, gözləyə biləcəyiniz orta məlumat məzmununu ölçür. Bu o deməkdir ki, zar atmaq sikkə atmaqdan daha çox entropiyaya malikdir, çünki hər bir kristal nəticəsi hər sikkə nəticəsindən daha az ehtimala malikdir.
Xüsusiyyətlər
Beləliklə, entropiya bir vəziyyətin gözlənilməzliyinin ölçüsüdür və ya eyni şeydir, onun orta məlumat məzmunudur. Bu terminləri intuitiv şəkildə başa düşmək üçün siyasi sorğu nümunəsinə nəzər salın. Adətən belə sorğular ona görə baş verir ki, məsələn, seçkilərin nəticələri hələ məlum deyil.
Başqa sözlə desək, sorğunun nəticələri nisbətən gözlənilməzdir və əslində onun keçirilməsi və məlumatların tədqiqi bəzi yeni məlumatlar verir; onlar sorğu nəticələrinin əvvəlki entropiyasının böyük olduğunu söyləmək üçün sadəcə fərqli üsullardır.
İndi eyni sorğunun birincidən qısa müddət sonra ikinci dəfə keçirildiyi halı nəzərdən keçirin. Birinci sorğunun nəticəsi artıq məlum olduğundan, ikinci sorğunun nəticələrini yaxşı proqnozlaşdırmaq olar və nəticələrdə çoxlu yeni məlumatlar olmamalıdır; bu halda, ikinci sorğunun nəticəsinin apriori entropiyası birinci ilə müqayisədə kiçikdir.
Sikkə Atma
İndi isə qəpik çevirmək nümunəsinə nəzər salaq. Quyruqların ehtimalının başların ehtimalı ilə eyni olduğunu fərz etsək, sikkə atmanın entropiyası çox yüksəkdir, çünki bu, sistemin informasiya entropiyasının özünəməxsus nümunəsidir.
Bunun səbəbibir sikkənin nəticəsinin vaxtından əvvəl atılacağını təxmin etmək mümkün deyil: seçim etməli olsaq, edə biləcəyimiz ən yaxşı şey, sikkənin quyruqlara düşəcəyini proqnozlaşdırmaqdır və bu proqnozlaşdırma ehtimalı ilə doğru olacaq. 1 / 2. Belə bir sikkə atma bir bit entropiyaya malikdir, çünki bərabər ehtimalla baş verən iki mümkün nəticə var və faktiki nəticənin öyrənilməsi bir bit məlumat ehtiva edir.
Əksinə, sikkənin hər iki tərəfini quyruğu olan və başı olmadan çevirmək sıfır entropiyaya malikdir, çünki sikkə həmişə bu işarənin üzərinə düşəcək və nəticəni mükəmməl proqnozlaşdırmaq olar.
Nəticə
Əgər sıxılma sxemi itkisizdirsə, yəni siz həmişə sıxılmış mesajı açmaqla bütün orijinal mesajı bərpa edə bilərsinizsə, o zaman sıxılmış mesaj orijinalla eyni miqdarda məlumata malikdir, lakin daha az simvolla ötürülür. Yəni hər xarakterə görə daha çox məlumat və ya daha yüksək entropiyaya malikdir. Bu o deməkdir ki, sıxılmış mesajın artıqlığı daha azdır.
Təxminən desək, Şennonun mənbə kodu kodlaşdırma teoremi bildirir ki, itkisiz sıxılma sxemi mesajları orta hesabla mesaj biti üçün bir bitdən çox məlumata malik olacaq şəkildə azalda bilməz, lakin hər bir bit üçün bir bitdən az məlumat əldə etmək olar. müvafiq kodlaşdırma sxemindən istifadə edərək mesajlar. Mesajın uzunluğunun bitlərlə entropiyası onun nə qədər ümumi məlumatı ehtiva etməsinin ölçüsüdür.
