CURRENT APPROACHES AND NEW RESEARCH IN
MODERN SCIENCES
International scientific-online conference
56
TRANSFORMER ARXITEKTURASI ASOSIDA TABIIY TILNI QAYTA
ISHLASH USULLARINI TADQIQ QILISH
Muhriddin Qulmatov
Naziraliyev O‘rinboy
Ilhom Jumabekov
*UMFT universiteti “Kommunikatsiya va raqamli texnologiyalar” kafedrasi katta
o‘qituvchisi muxroka2525@gmail.com , Tel:+998-95-039-25-25
UMFT universiteti “Kommunikatsiya va raqamli texnologiyalar” kafedrasi katta
o‘qituvchisi naziraliyevurinboy1996@gmail.com
UMFT universiteti “Kommunikatsiya va raqamli texnologiyalar” kafedrasi
assistent o‘qituvchisi jumabekovilhom@gmail.com
https://doi.org/10.5281/zenodo.15518392
Аннотация:
В этой научной работе рассматриваются методы
обработки естественного языка (NLP), основанные на архитектуре
Transformer. Были проанализированы ключевые компоненты моделей
Transformer – механизмы само-внимания и многоголовочного внимания -
и изучена их роль в задачах NLP. В ходе исследования был проведен
эксперимент с использованием моделей BERT и GPT на практике с
использованием библиотек TensorFlow и HuggingFace на языке
программирования Python.
Annotation:
In this scientific work, research on Natural Language
Processing (NLP) methods based on Transformer architecture is covered. The
key components of Transformer models – self-Attention and Multi-Head
Attention mechanisms-were analyzed and their role in NLP tasks studied.
During the study, an experiment was conducted using BERT and GPT models in
practice using the TensorFlow and HuggingFace libraries in the Python
programming language.
Annotatsiya:
Mazkur ilmiy ishda Transformer arxitekturasi asosida tabiiy
tilni qayta ishlash (NLP) usullarini tadqiq qilish yoritilgan. Transformer
modellarining asosiy komponentlari – Self-Attention va Multi-Head Attention
mexanizmlari tahlil qilinib, ularning NLP vazifalaridagi roli o‘rganildi. Tadqiqot
davomida Python dasturlash tilida TensorFlow va HuggingFace kutubxonalari
yordamida BERT va GPT modellarini amaliyotda qo‘llash tajribasi o‘tkazildi.
Kalit so‘zlar:
NLP,
BERT, GPT, Self-Attention, TensorFlow, HuggingFace,
Multi-Head, RNN, LSTM, GRU.
Tabiiy tilni qayta ishlash (Natural Language Processing, NLP) —
kompyuter tizimlari yordamida inson tilini tahlil qilish, tushunish va generatsiya
qilishga qaratilgan sun'iy intellekt sohasi hisoblanadi. So‘nggi yillarda ushbu
sohada sezilarli natijalarga erishildi, ayniqsa 2017-yilda Google tomonidan taklif
CURRENT APPROACHES AND NEW RESEARCH IN
MODERN SCIENCES
International scientific-online conference
57
etilgan Transformer arxitekturasi bu yo‘nalishda inqilobiy o‘zgarishlarga sabab
bo‘ldi.
An’anaviy rekurrent neyron tarmoqlar (RNN) va ularning modifikatsiyalari
(LSTM, GRU) matnlarni ketma-ketlik asosida tahlil qilgan bo‘lsa, Transformer
modellar paralel ravishda butun matnga ishlov bera oladi, bu esa o‘rgatish
jarayonini tezlashtiradi va uzoq masofadagi so‘zlar o‘rtasidagi bog‘liqlikni
samarali aniqlashga yordam beradi.
Transformer modelining asosiy komponentlari:
Self-Attention mexanizmi
Self-Attention – har bir so‘zning kontekstda boshqa so‘zlar bilan
munosabatini baholash imkonini beradi.
Formulasi:
Attention(Q, K, V) = softmax(
QK
T
√d
k
)
V (1.1)
Bu yerda:
Q – Query,
K – Key,
V – Value,
d
k
– Key vektorining o‘lchami.
Multi-Head Attention:
bir nechta self-attention natijalarini birlashtirib, modelga turli kontekstual
munosabatlarni aniqlash imkonini beradi:
MultiHead(Q, K, V) = Concat(head
1
, … , head
h
)W
O
(1.2)
Bu yerda har bir head – alohida Self-Attention mexanizmidan tashkil
topgan.
Position Encoding:
Transformer arxitekturasi so‘zlar ketma-ketligiga bog‘liq bo‘lmagan holda
ishlaydi. Shu sababli so‘zlarning pozitsiyasini belgilash uchun pozitsion kodlash
qo‘llaniladi.
PE
pos,2i
= sin (
pos
10000
2i
dmodel
),
(1.3)
PE
pos,2i+1
= cos (
pos
10000
2i
dmodel
),
(1.4)
Transformer modellarining NLP dagi asosiy qo‘llanilishi:
CURRENT APPROACHES AND NEW RESEARCH IN
MODERN SCIENCES
International scientific-online conference
58
Model
Vazifasi
Trilliyard
so‘zlar
bilan
o‘qitilgan
Qo‘llanilish
sohasi
BERT
Masked
Language
Modeling
Ha
Savol-javob,
matn
klassifikatsiyasi
GPT
Causal
Language
Modeling
Ha
Matn
generatsiyasi,
suhbatlar
T5
Text-to-Text Transfer
Ha
Mashinalar
tarjimasi,
yakunlash
RoBERTa
MLM(yanada
yaxshilangan)
Ha
Matn
tahlili,
emotsiyalar
Transformer modellarining afzalliklari
Paralel ishlov berish imkoniyati
Uzoq masofali bog‘liqlikni yaxshi aniqlash
Oldingi modellarga qaraganda samarador va o‘rganishga qulay
Transformer arxitekturasi NLP sohasida yangi davrni boshlab berdi. Uning
asosidagi self-attention mexanizmi matnning chuqur kontekstini tushunishga
imkon yaratadi. Kelajakda Transformer modellari yanada samarali va ixcham
shaklda ishlab chiqilishi kutilmoqda (masalan: DistilBERT, TinyGPT).
Adabiyotlar:
1.
Vaswani, A., Shazeer, N., Parmar, N., et al. (2017).
2.
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2018). "BERT: Pre-
training of Deep Bidirectional Transformers for Language Understanding".
3.
Radford, A., Wu, J., Child, R., et al. (2019). "Language Models are
Unsupervised Multitask Learners".Bird, Steven, Ewan Klein va Edward Loper.
4.
Raffel, C., et al. (2020). "Exploring the Limits of Transfer Learning with a
Unified Text-to-Text Transformer" (T5 model).Yuldoshev D. Python dasturlash
tilida matnni qayta ishlash usullari. Toshkent: Dasturlash Akademiyasi, 2021.
5.
Lewis, M., Liu, Y., Goyal, N., et al. (2020). "BART: Denoising Sequence-to-
Sequence Pre-training for Natural Language Generation, Translation, and
Comprehension".
6.
Jurafsky, D., & Martin, J. H. (2023).
7.
"Speech and Language Processing (3rd Edition, Draft)".
CURRENT APPROACHES AND NEW RESEARCH IN
MODERN SCIENCES
International scientific-online conference
59
8.
Eisenstein, J. (2019).
9.
"Natural Language Processing"
