A · Navbat bilan keladigan qator
Bitta belgi H(1)
Blok H(6)
Keyingi belgi hₖ
Qaysi belgi chiqadi?
Vaznlar ehtimolga aylantiriladi. Natija qanchalik kam kutilsa, uni bilish shunchalik ko‘p axborot beradi.
Ehtimollarni o‘zingiz tuzing
Har bir vaznni suring. Jami 100 bo‘lishi shart emas.
H = −Σ pᵢ log₂ pᵢ
Entropiya — bir natijani bilishdan olinadigan o‘rtacha axborot.
Bu yerda logarifm asosi 2, birlik — bit. p = 0 bo‘lsa, uning hissasi 0.
NAZARIY ENTROPIYA2 bit
Tanlangan ehtimollar bo‘yicha
TAJRIBAVIY O‘RTACHA—
Olingan axborot / sinovlar
SINOVLAR SONI0
Har safar shu taqsimotdan
Ehtimol va kuzatilgan ulush
Belgilangan ehtimolTajribadagi ulush
?
Avval natijani taxmin qiling.
So‘ng «1 ta natija»ni bosing.
Vazn o‘zgarsa, hisob boshidan boshlanadi. Tasodif — takrorlanuvchi kompyuter modeli; kriptografik generator emas.
Hisobni jadvalda ko‘rish
| Belgi | Ehtimol p | I = −log₂p | p × I | Kuzatilgan son |
|---|
Kam uchraydigan bitta natijaning axboroti katta bo‘lishi mumkin; bu butun taqsimot entropiyasi katta degani emas. Nol ehtimolli belgi modelda tanlanmaydi.
Belgilar bir xil. Tartib-chi?
O‘ngdagi qator chapdagining aralashtirilgan nusxasi: 0 va 1 soni aynan saqlanadi.
B · Shu belgilar, aralash tartib
Bitta belgi H(1)
Blok H(6)
Keyingi belgi hₖ
Tartibni hisobga olsak, farq ko‘rinadi
A qatoriB: aralashtirilgan qatorIdeal mustaqil teng tanga
Bitta belgi entropiyasi — butun qatorning entropiya tezligi emas.
010101… qatorida tasodifiy boshlanishda birinchi belgi noma’lum; keyingilari oldingi belgidan aniqlanadi. Mustaqil teng tanga modelida esa oldingi natijalar keyingi natijani aniqlamaydi.
Bloklar qanday sanaladi?
Har bir boshlanishdan k ta belgi o‘qiymiz. Hisobda qatorning oxiri boshiga ulanadi; barcha k uchun bir xil N ta boshlanish bor. So‘z chastotalaridan H(k) hisoblanadi. hₖ = H(k) − H(k−1) — shu chekli davriy modelda keyingi belgining shartli entropiyasi.
Chekli qator takrorlansa, cheksiz vaqtdagi entropiya tezligi 0 bo‘ladi. Grafik faqat k ≤ 10 dagi statistikani ko‘rsatadi; u generatorning haqiqiy tasodifiyligini yoki cheksiz jarayon entropiyasini isbotlamaydi. Kam namunali katta bloklar xolis bo‘lmagan baho beradi.
Jadvalda jami eng ko‘p uchragan 32 so‘z; CSVda barchasi.
| So‘z | A: son | A: ulush | B: son | B: ulush |
|---|
Bir qoida, turlicha axborot o‘sishi
x < ½ bo‘lsa «0», x ≥ ½ bo‘lsa «1» deymiz. n kuzatish: x₀, T(x₀), …, Tⁿ⁻¹(x₀).
IKKI BARAVAR OSHIRISH
T(x) = 2x mod 1
Har bir so‘zga mos boshlang‘ich nuqtalar oralig‘i.
MUMKIN BO‘LGAN SO‘Z
H(n): JAMI AXBOROT
Tanlangan nuqtaning so‘zi:
AYLANA BO‘YLAB SILJISH
R(x) = (x + α) mod 1
Ranglar so‘zlarni ajratadi; oraliq uzunligi — ehtimol.
MUMKIN BO‘LGAN SO‘Z
H(n): JAMI AXBOROT
Tanlangan nuqtaning so‘zi:
Kuzatishlar ko‘paysa, qancha axborot yig‘iladi?
Ikki baravar oshirishAylantirish
Deterministik qoida ham musbat dinamik entropiyaga ega bo‘lishi mumkin.
Bu tajribada x₀ butun [0,1) dan tekis tanlangan deb qaraladi. Ikki baravar oshirishda har kuzatish uning ikkilik yozuvidagi keyingi raqamni ochadi: H(n) = n bit. X₀ aniq ma’lum bo‘lsa, barcha keyingi natijalar ham aniqlangan — algoritm tasodif yaratmaydi.
Hisob bitta orbitaning histogrammasi emas: mumkin bo‘lgan barcha boshlang‘ich nuqtalar oraliqlari hisoblanadi. Shuning uchun chekli ikkilik aniqlikda orbitaning oxir-oqibat 0 ga tushishi bu grafikni soxtalashtirmaydi.
Dinamik entropiya, o‘lchov va hisob chegaralari
Hₙ = H(𝒫 ∨ T⁻¹𝒫 ∨ ⋯ ∨ T⁻⁽ⁿ⁻¹⁾𝒫), h(T,𝒫) = lim Hₙ/n.
𝒫 = {[0,½), [½,1)}; o‘lchov — Lebeg o‘lchovi, ya’ni oraliq uzunligi. Kolmogorov–Sinay entropiyasi barcha chekli bo‘linishlar bo‘yicha supremumdir. Ikki baravar oshirishda shu ikkilik bo‘linish generator bo‘lib, h = 1 bit/qadam (natural logarifmda ln 2).
Aylantirishda n kuzatish ko‘pi bilan 2n ta kesish nuqtasi bilan ajraladi. Shuning uchun shu kuzatishda Hₙ ≤ log₂(2n) va Hₙ/n → 0. Aylantirishning Kolmogorov–Sinay entropiyasi ham 0, lekin bitta bo‘linish bilan hisoblashning o‘zi umumiy supremum ta’rifining o‘rnini bosmaydi.
Bir xil so‘zga tegishli ajralgan oraliqlarning uzunliklari birlashtiriladi. Ikki baravar oshirishdagi 2⁻ⁿ uzunliklar aniq; irratsional α va logarifmlar kompyuter aniqligida. n ≤ 12. Chizmada juda ingichka oraliqlar ekranda ajralmasligi mumkin, ammo hisobda barchasi qatnashadi. Chegaralarda chapdan yopiq, o‘ngdan ochiq oraliqlar ishlatiladi.
Uch xil savolni bir-biridan ajratamiz
Bir natija haqida
Shennon entropiyasi taqsimotga tegishli. Teng ehtimolli ikkita natija 1 bit, to‘rttasi 2 bit beradi. Bu «necha foiz adashaman?» degan savolning o‘zi emas.
Natijalar qatori haqida
H(k) k ta belgini birgalikda hisobga oladi. Statsionar jarayonning entropiya tezligi h = lim H(k)/k. H(1) katta bo‘lsa ham, h nol bo‘lishi mumkin.
Harakat haqida
Dinamik entropiya belgilangan o‘lchov va kuzatish ostida axborotning vaqt bo‘yicha o‘sishini ifodalaydi. Uni birgina chiroyli yoki tartibsiz ko‘ringan rasmga qarab aniqlab bo‘lmaydi.
Rasm bo‘lagi bilan bog‘lanish
Piksellarni o‘rin almashtirish ranglarning sonini o‘zgartirmaydi. Demak, ranglar histogrammasining entropiyasi ham o‘zgarmaydi. Fazoviy tartib esa o‘zgarishi mumkin. Rasm bo‘lagi laboratoriyasida tekshiring →
Bu laboratoriya axborot va dinamik entropiya haqida. Termodinamik entropiya yoki issiqlik almashinuvi hisoblanmaydi. Entropiyani shunchaki «tartibsizlik miqdori» deb atash ba’zi misollarda chalg‘itadi.
O‘zingizni tekshiring · 8 ta savol
Tajriba daftari
Eng so‘nggi 30 ta yozuv brauzeringizda saqlanadi. O‘z ikkilik qatoringiz ham saqlashga kiritiladi. Qurilmalararo sinxronlash yo‘q.