ACADEMIC RESEARCH IN MODERN SCIENCE
International scientific-online conference
148
CHUQUR O‘QITISH: NEYRON TARMOQLAR, CNN.
Q.Rahimov
Amaliy matematika va informatika kafedrasi mudiri;
M.Javlonova
Amaliy matematika (sohalar bo’yicha) mutaxassisligi
2-kurs magistranti Farg’ona davlat universiteti
https://doi.org/10.5281/zenodo.15661587
Annotatsiya.
Mazkur maqola sun’iy intellektning asosiy tarmoqlaridan
biri bo’lgan neyron tarmoqlarini o’rganishga bag’ishlangan bo’lib, uning modeli,
tuzilishi, strukturasiga bag’ishlangan.
Kalit so’zlar:
Deep Learning
,
HTM modeli va hujayralari.
Annotation.
This article is dedicated to the study of neural networks,
which represent one of the main branches of artificial intelligence. It focuses on
their models, architecture, and structure.
Keywords:
Deep Learning, HTM model and cells.
Sun’iy neyron tarmoqlar (Artificial Neural Networks) yaratilganidan beri
ko‘plab yutuqlar va muvaffaqiyatsizliklarga guvoh bo‘lgan. Sun’iy neyron
tarmoqlar turli arxitektura va yondashuvlarga ega bo‘lib, ular turli
muammolarni hal etishga moslashtirilgan. Ular orasida eng oddiy shakli —
yagona qatlamli tarmoqlar bo‘lib, ular kirish va chiqish qatlamlaridan iborat va
faqat chiziqli funksiyalarni o‘rganishga qodir. Murakkabroq masalalar uchun esa
ko‘p qatlamli tarmoqlar qo‘llaniladi, ular yashirin qatlamlarga ega bo‘lib,
murakkab, chiziqsiz bog‘liqliklarni modellash imkonini beradi. O‘ziga qaytuvchi
(rekurrent) neyron tarmoqlari, xususan Hopfield tarmoqlari (Tank va Hopfield,
1986), vaqtga bog‘liq jarayonlarni o‘rganishda qo‘llaniladi. Bu tarmoqlar o‘z
holatini saqlab qolish va vaqt bo‘yicha ketma-ket ma’lumotlar ustida ishlashga
imkon beradi. Shu bilan birga, o‘z-o‘zini tashkil etuvchi xaritalar, ya’ni Kohonen
tarmoqlari (Kohonen, 1982), ma’lumotlarni vizualizatsiya qilish va klasterlash
uchun mos bo‘lgan nazoratsiz o‘qitish modelidir. Bundan tashqari, adaptiv
rezonans nazariyasi asosida qurilgan tarmoqlar mavjud bo‘lib, ular yangi kirish
ma’lumotlari kelganda mavjud bilimni saqlagan holda o‘rganishni davom ettira
oladi. Kechikishli neyron tarmoqlar esa signalni ma’lum vaqt davomida ushlab
turish xususiyatiga ega bo‘lib, ayniqsa nutqni tanish va tahlil qilish sohalarida
foydalidir. Shuningdek, zamonaviy tarmoqlar orasida konvolyutsion neyron
tarmoqlar (CNN), uzun va qisqa xotirali tarmoqlar (LSTM), transformator
arxitekturasi asosida qurilgan modellarning keng tarqalgani kuzatiladi.
Bularning barchasi neyron tarmoqlarning turli holatlarga moslashuvchanligini,
ularning arxitekturaviy boyligini va real hayotdagi murakkab muammolarni hal
ACADEMIC RESEARCH IN MODERN SCIENCE
International scientific-online conference
149
etishdagi ahamiyatini yaqqol namoyon etadi. Bu avlodlarning har biri avvalgi
modellar cheklovlarini bartaraf etish
va
yangi darajadagi intellektga erishish
maqsadida bosqichma-bosqich yaxshilanishlarni olib kelgan. Ammo, bu
“intellektual” tarmoqlarning umumiy effekti hanuzgacha inson intellektining
haqiqiy mohiyatini to‘liq aks ettira olmagan. Shuning uchun chuqur o‘qitish
(Deep Learning) bugungi kunda mashinaviy o‘qitish sohasida keskin
rivojlanmoqda. Chunki an’anaviy sayoz arxitekturalar (shallow networks) —
ya’ni 1–2 qatlamli oddiy neyron tarmoqlar — mashinaviy o‘qitishning murakkab
muammolari va kuchli sun’iy intellekt (Strong AI) uchun yetarli emasligi
isbotlangan. Kompyuter quvvatining oshishi, samarali o‘qitish algoritmlarining
yaratilishi, hamda neyrofan
sohasidagi yutuqlar bilan birgalikda, ilgari imkonsiz
bo‘lgan chuqur o‘qitish tamoyillarini amalda qo‘llash imkonini
berdi. Bu
yutuqlar biologiyadan ilhomlangan o‘qitish yondashuvlarini taklif qiluvchi
kognitiv neyrofan yondashuvlariga asoslangan chuqur arxitekturalarni
shakllantirdi.
Hierarchical Temporal Memory (HTM) haqida umumiy ma’lumot
Hierarchical Temporal Memory (HTM) — bu neokorteks (inson miyasi
po‘stlog‘i) ning funksional
va strukturaviy xususiyatlarini taqlid qilishga
intiluvchi modeldir. HTM modeli Jeff Hawkinsning “On Intelligence” (2007)
kitobidagi fikrlarga asoslanadi. Unda intelhlektning asosi — bu kelajakni
bashorat qilish qobiliyati ekani ta’kidlanadi. HTM strukturasi biomimetik model
(ya’ni biologiyadan nusxa olingan model) sifatida ishlab chiqilgan bo‘lib, inson
miyasi algoritmik va strukturaviy xatti-harakatlarini (soddalashtirilgan va
funksiyaga yo‘naltirilgan tarzda) taqlid qiladi. HTM hierarxik (ko‘p bosqichli)
tarzda tashkil etilgan — bu tuzilma 1-rasmda umumiy shaklda tasvirlangan.
HTM tarkibidagi har bir daraja va uning tarkibiy qismlari bir xil hisoblash
algoritmini bajaradi.
ACADEMIC RESEARCH IN MODERN SCIENCE
International scientific-online conference
150
1-rasm. HTM tarmogʻining hierarxik tuzilmasi.
Chuqur arxitekturalar va neokorteksning hierarxik tuzilmasi. Chuqur
arxitekturalar (deep architectures) inson miyasining neokorteks qismidagi
hierarxik tuzilmani o‘zlashtiradi. Sababi — miyada butun neokorteks bo‘ylab
tarqalgan umumiy hisoblash algoritmining mavjudligi ochiq-oydin ravshan
bo‘lib, bu algoritm inson miyasiga sezgilar bilan ishlash — ko‘rish, eshitish, hid
sezish va boshqalarni deyarli bir xil usulda qayta ishlash imkonini beradi.
Miyaning turli hududlari hierarxik tarzda bog‘langan bo‘lib, ma’lumot yuqoriga
qarab oqayotganda murakkab abstraksiyalar va tasvirlar hosil qiladi. Ya’ni,
sezgilardan olinadigan oddiy signallar har bir bosqichda asta-sekin yuqori
darajadagi tushunchalarga aylanadi. Miyaning tuzilmasi (ayniqsa, neokorteks)
atrof-muhitdagi signallar asosida dunyoning strukturasi haqida model qurish
uchun evolyutsiyalashgan. Oddiy qilib aytganda: Miyani biologik ma’lumotni
qayta ishlovchi “qora quti” sifatida tasavvur qilish mumkin. Bu “quti” — sezgilar
orqali kirayotgan juda katta miqdordagi tashqi axborotdan asl sabablarni
topishga harakat qiladi. Tashqi olamdagi sabablar odatda makonda va vaqtda
hierarxik bo‘ladi. Masalan:
Nutq: gap → so‘z → tovush birligi (fonema) va h.k.
Rasm: piksel → chekka → kontur → shakl → obyekt.
Demak, har qanday sezilgan obyekt turli darajalarda namoyon bo‘luvchi
strukturaga ega bo‘ladi — shu hierarxik tuzilmani HTM modeli neokorteksga
taqlid qilib ifodalaydi.
ACADEMIC RESEARCH IN MODERN SCIENCE
International scientific-online conference
151
HTM tarmog‘ining eng pastki tugunlari sezgi ma’lumotlarini qabul qiladi
(bu ma’lumot xom holatda
yoki oldindan qayta ishlangan bo‘lishi mumkin). Har
bir tugun ma’lumot oqimidagi takrorlanuvchi naqshlar va ular ketma-ketligini
aniqlab, xotira yoki ulanishlar orqali saqlab boradi. Ushbu asosiy naqshlar va
ketma-ketliklar
keyingi yuqori bosqichlarda murakkab abstraksiyalarni qurish
uchun qurilish g‘ishtlari sifatida ishlatiladi. Ma’lumot hierarxiya bo‘ylab
yuqoriga harakat qilar ekan, yuqori darajadagi tushunchalar shakllanadi.
Ma’lumot pastga qarab ham oqishi mumkin
— bu tarmoqni generativ modelga
aylantiradi. Ya’ni, yuqori bosqichlar pastki bosqichlarga o‘z holatini uzatadi va
bu orqali yetishmayotgan ma’lumotlarni to‘ldiradi yoki noaniqlikni hal qiladi.
HTM texnologiyasi hozirgacha ikki avloddan iborat
:
1-avlod: Zeta 1 algoritmi. Bu versiyada Bayes ishonch tarqalishi (Bayesian
belief propagation, BBP) nazariyasiga asoslangan algoritmlar ishlatilgan. Zeta 1
algoritmi topologik shartlar
asosida tarmoqdagi barcha tugunlar birgalikda
izchil qarorlarga kelishiga yordam beradi. Tugunlar holati ehtimolliklar asosida
ifodalanadi, ya’ni Bayes nazariyasiga asoslangan. Zeta 1 hozirda eskirgan
bo‘lsa-
da, HTM dastlab Bayes tarmog‘i sifatida ishlagan va vaqt, o‘z-o‘zini o‘qitish
hamda sabablarni aniqlash uchun qo‘shimcha mexanizmlar kiritilgan.
2-avlod: HTM Cortical Learning Algorithms (CLA). Bu avlod biologik
jihatdan realroq model yaratishga yo‘naltirilgan. U invariant tasvirlar, makonsal
va vaqtinchalik birlashtirish kam sonli, tarqoq taqdimotlar asosida ishlaydi.
Tugunlar (nodes) endi kortikal ustunchalar (cortical columns) bilan
almashtirilgan — bu Edelman va Mountcastle (1978) tomonidan tavsiflangan
haqiqiy miya modeli bilan yaqin. Ulanishlar endi kuchli yon inhibitsiyalovchi
(inhibitory) mexanizmlarni qo‘llab-quvvatlaydi.
FDR (Fixed-density distributed representations). Dastlab shunday
nomlangan, hozir esa shunchaki HTM CLA deb yuritiladi. Har bir bosqich
“ustunchalar” (columns) dan iborat, bu ustunchalar hujayralardan tashkil
topgan. Har bir qatlam boshqa qatlam bilan birga hierarxiyani hosil qiladi — bu
struktura 2-rasmda ko‘rsatilgan.
ACADEMIC RESEARCH IN MODERN SCIENCE
International scientific-online conference
152
2-
rasm. HTM strukturasi.
3-rasmda Hawkins, Ahmad va Dubinsky (2011) tomonidan taklif qilingan
hujayra modeli tasvirlangan. Bu HTM hujayralari sun’iy neyron tarmoqlarda
(ANNs) ishlatiladigan modeldan ko‘ra realroq. Biologik jihatdan sodiqroq va
tabiiy neyronlarga yaqinlashtirilgan.
3-rasm. HTM hujayrasi / neyron modeli
HTM hujayralarida kiruvchi aloqalarning ikki turi mavjud:
1. Proksimal dendritlar – bu dendritlar pastdan yuqoriga (feedforward)
signal uzatish uchun xizmat qiladi. Ular HTM hududiga kiruvchi ma’lumotlarning
kichik bir qismi bilan bog‘langan potensial sinapslar to‘plamini o‘z ichiga oladi.
Barcha ustun (column) tarkibidagi hujayralar bu proksimal dendritlarni
ulashadi (ya’ni umumiy ulanishlar), va ular chiziqli yig‘uvchi bloklar sifatida
ishlaydi.
ACADEMIC RESEARCH IN MODERN SCIENCE
International scientific-online conference
153
2. Distal dendritlar – bu dendritlar bir xil hudud ichidagi yon (lateral)
aloqalarga mas’ul. Har bir distal dendritda bir nechta segmentlar mavjud. Har
bir segment — bu “to‘satdan mos kelishni aniqlovchi” (coincidence detector)
qism, ya’ni u faol bo‘lishi uchun bir vaqtning o‘zida bir nechta sinapslar
faollashgan bo‘lishi kerak. Faqat bitta segmentning faolligi ham hujayrani
bashoratli holatga o‘tishiga yetarli (ya’ni bu tizim "yoki" (OR) eshigi kabi
ishlaydi).
Sinapslar va “permanence” tushunchasi. Sinapslar ikkilik (binary)
xususiyatga ega: bor yoki yo‘q, og‘irlik (weight) bo‘lmaydi. (Bu real biologik
neyronlardagi tasodifiylik (stoxasticity) sababli — aniqlikka to‘liq ishonib
bo‘lmaydi.) Har bir sinapsda “permanence” (mustahkamlik) deb nomlangan 0
dan 1 gacha bo‘lgan doimiy qiymat mavjud. Bu qiymat: sinaps faol bo‘lsa →
oshadi (increment), foydasiz bo‘lsa → kamayadi (decrement). Agar permanence
oldindan belgilangan threshold (chegaradan) yuqori bo‘lsa, sinaps “ulangan”
(connected) deb hisoblanadi. Demak, HTMdagi barcha sinapslar — potensial
sinapslar: ular doimiy ravishda dinamik holatda bo‘ladi va o‘zgaradi. Hujayra
yoki faol, yoki bashoratli bo‘lsa, uning signali yuqori darajadagi qatlamlarga
uzatiladi.
HTM hujayrada ikki chiqish (output) mavjud:
1.
Proksimal aloqalar orqali — agar kirish signali kuchli bo‘lsa →
hujayra aktiv bo‘ladi.
2.
Distal aloqalar orqali — agar qo‘shni hujayralar faol bo‘lsa →
hujayra bashoratli holatga o‘tadi.
ACADEMIC RESEARCH IN MODERN SCIENCE
International scientific-online conference
154
3.
Yakuniy chiqish — OR (yoki) amali orqali bajariladi.
4-rasm. HTM ustunlari.
4-rasm tavsifi: Har qanday vaqt nuqtasida: Ba’zi hujayralar to‘g‘ridan-to‘g‘ri
kirish signallari sababli aktiv bo‘ladi (qoramtir kulrang bilan tasvirlanadi).
Boshqa hujayralar esa yon tomondan kirayotgan signal sababli bashoratli
holatga o‘tadi (och kulrang bilan tasvirlanadi). HTM hujayralari real biologik
neyronlarga yaqinlik, statik emas, dinamik sinapslar (permanence bilan)
kontekst asosida bashorat qilish, vaqtli ketma-ketliklarga moslashuv kabi kuchli
tomonlarga ega.
Foydalanilgan adabiyotlar:
1. Иванов, В. М. И20 Интеллектуальные системы : учебное пособие / В. М.
Иванов. — Екатеринбург : Изд-во Урал. ун-та, 2015. — 92 с.
2. Mariette Awad and Rahul Khanna Efficient Learning Machines: Theories,
Concepts, and Applications for Engineers and System Designers Mariette Awad
and Rahul Khanna Copyright © 2015 by Apress Media, LLC.
3. Becker, Suzanna, and Geoffrey E. Hinton. “Self-Organizing Neural Network that
Discovers Surfaces in Random-Dot Stereograms.” Nature 355, no. 6356 (1992):
161–163.
4. Boser, Bernhard E, Isabelle M. Guyon, and Vladimir N. Vapnik. “A Training
Algorithm for Optimal Margin Classifiers.” In COLT ’92: Proceedings of the Fifth
Annual Workshop on Computational Learning Theory, 144–152. New York:
ACM, 1992.
