10
KATTA MA’LUMOTLAR BA’ZASI VA ANALISTIKASI
Ruziboev Askar Jiyanbekovich
“University of economics and pedagogy”NOTM,
“Iqtisodiyot” kafedrasi dotsenti+998979995503
Mirzakarimov Baxtiyor Abdusalomovich
“University of economics and pedagogy”NOTM,
“Iqtisodiyot” kafedrasi dotsenti+998905442766
Mirabdullayev Izzatillo Isroiljon o‘g‘li
“University of economics and pedagogy”NOTM,
“Iqtisodiyot” kafedrasi assistenti
Izzatillomirzabdullayev9894@gmail.com +998994359894.
https://doi.org/10.5281/zenodo.14195670
Annotatsiya.
Ushbu maqolada katta ma’lumotlarni qayta ishlash texnologiyalari haqida
gapirib o‘tilgan. Bugungi kunda ma’lumotni qayta ishlashning eng keng tarqalgan usullari
(dasturiy ta’minot)larga misollar keltirilgan. Raqamli iqtisodiyotdagi katta malumotlarning
asosiy xususiyatlari ham ko‘rib chiqilgan.
Kalit so‘zlar:
Big data, volume, variety, velocity, SQL, NOSQL, Mapreduce, Hadoop, SAP
XANA.
Annotation.
Recycling the Big data technologies will be discussed in this following
artricle. Up to date, the most pervasive ways of recycling the data (software) will be given as
an example. What’s more, main features of Big data will also be debated in digital economics.
Keywords:
Big data, volume, variety, velocity, SQL, NOSQL, Mapreduce, Hadoop, SAP
XANA
Аннотация
. Переработка технологий больших данных будет рассмотрена в
следующей статье. На сегодняшний день в качестве примера будут приведены
наиболее
распространенные
способы
переработки
данных
(программного
обеспечения). Более того, основные черты больших данных будут обсуждаться и в
цифровой экономике.
Ключевые слова:
большие данные, объем, разнообразие, скорость, SQL, NOSQL,
Mapreduce, Hadoop, SAP XANA.
Katta ma'lumotlar turlari-
Har bir maʼlumot manbasini alohida boshqaring va qidiring
undagi zarur ma'lumotlar unchalik murakkab emas - yig‘indidagi bir qator manbalardan
olingan turli ma'lumotlarni tahlil qilish zarur bo‘lganda qiyinchiliklar paydo bo‘ladi.
Ma'lumotlarni boshqarish va ular bilan ishlashning an'anaviy usullari turli shakllarda taqdim
etilgan katta hajmdagi ma'lumotlarga to‘g‘ri kelmaydi. Albatta katta ma'lumotlar hajmi ilgari
mavjud edi, lekin hozirgacha ular haqida gapirmasa ham, sezilarli darajada ko‘paygan axborot
turlarining xilma-xilligi va ularning dolzarblik darajasi tobora muhim ahamiyat kasb etmoqda.
Axborotdan foydalanishning yangi usullari. Shunday qilib, Ma’lumotlarni boshqarishga
yangicha yondashuv zarur. Bu katta ma'lumotlar bilan ishlashning afzalligi va qiyinligi. Keling,
katta ma'lumotlarning paydo bo‘lishiga nima sabab bo‘lganini ko‘rib chiqaylik axborot
texnologiyalaridagi yangi hodisalar va ular qanday bo‘lishi mumkin biznesda foydalanish.
Ma'lumotlarni boshqarishning evolyutsiyasi.
Agar ma'lumotlarni boshqarishdagi har
bir yangilik sanoatdan mustaqil bo‘lsa, yangi tendentsiyalarni qabul qilish qanchalik oson
bo‘lar edi? Biroq, ma'lumotlarni boshqarishning ko‘pgina yangi usullari, ham dramatik, ham
11
bosqichma-bosqich, ilgari qo‘llanilgan usullarga asoslanadi. Evolyutsiya ma'lumotlarni
boshqarish odatda nuqtai nazardan qaraladi lekin aslida bu savol integratsiyalashgan
yondashuvni talab qiladi. Ma'lumotlarni boshqarish apparat va saqlash tizimlarida texnologik
va virtualizatsiya kabi ma'lumotlar, tarmoq va hisoblash modellari va bulutli hisoblash
texnologiyalari yutuqlarni hisobga oladi. Eng yangi texnologiyalarni yaqinlashtirish va
ularning xarajatlarini kamaytirish (saqlash xarajatlaridan tortib to hisoblash davrlarining
narxi) muhitni tubdan o‘zgartirdi, ma'lumotlarni qayta ishlash va bir qator imkoniyatlarni
taqdim etdi. Ushbu texnologik omillarning barchasi ma'lumotlardan foydalanish va
boshqarish usullarini o‘zgartirish uchun birlashadi va eng dolzarbdir. Ushbu omillar tufayli
paydo bo‘lgan tendentsiya katta ma'lumotlardir ular shunchalik muhimmi? Bu atamaning
ta'rifi keyinroq beriladi. Katta ma'lumotni kamida uchta umumiy parametr bilan tavsiflangan
har qanday ma'lumot manbai sifatida belgilaylik:
•
juda katta hajmdagi ma'lumotlar;
•
ma'lumotlarni qayta ishlashning o‘ta yuqori tezligi;
•
ma'lumotlarning haddan tashqari xilma-xilligi.
Katta ma'lumotlar qimmatlidir, chunki u tashkilotlarga katta hajmdagi ma'lumotlarni
saqlash, boshqarish va qayta ishlash imkonini beradi.
Ularni joriy biznes vazifalariga muvofiq talab qilinadigan tafsilotlarga kirishdan oldin,
keling, ma'lumotlarni boshqarish tarixini ko‘rib chiqaylik va nima ekanligini bilib olaylik,
tezlikda va kerakli vaqtda bo‘layotgan jarayonlar katta ma'lumotlarning paydo bo‘lishiga olib
keldi. Katta texnologiya va ma'lumotlar o‘z-o‘zidan paydo bo‘lmagan - bu so‘nggi ellik yildagi
fan va texnika yutuqlari natijasidir.
Bugungi kunda ma'lumotlarni boshqarish burilish nuqtasida. Biznesda texnologiyalar
faqat aniq yuqori ixtisoslashgan muammolarni hal qilish uchun qo‘llanilgan davr ortda qoldi
(masalan, uchun savdo statistikasini yuritish). Endi har qanday tashkilot o‘z ixtiyorida ancha
kattaroq ma'lumotga ega manbalar soni Ma'lumotlar potentsiali oltin konidir, lekin xuddi
konda bo‘lgani kabi, haqiqiy oltinga erishish uchun siz ta'sirchan miqdordagi materialni qayta
ishlashingiz kerak. Bu texnologik murakkablik: xuddi shunday agar ulardagi tendentsiya va
naqshlarni aniqlash juda qiyin bo‘lsa qaror qabul qilish uchun eng muhimmi? Tashkilotda
qanday tashkil qilish kerak katta hajmdagi ma'lumotlar bilan samarali ishlaysizmi? Bu
savollarga javob berishdan oldin, keling, qanday farq borligini ko‘rib chiqaylik
Ma'lumotlarni boshqarishni rivojlantirish bosqichlari
Ma'lumotlarni boshqarish har
doim ma'lum turdagi ma'lumotlar bilan bog‘liq muammolarni hal qilish zarurati tug‘ilganda
o‘z rivojlanishining yangi bosqichiga o‘tdi. Bu erda sabab-oqibat munosabatlari mavjud:
Texnologik yangilik bozorga kirishi bilanoq, u bilan ishlashning turli usullari, o‘z navbatida,
yangi texnologik echimlarni yaratishni rag‘batlantirish ma'lumotlar bazasida ma'lumotlar
elementlari o‘rtasidagi munosabatlarni o‘rganish imkonini beradigan vositalar to‘plami talab
qilindi. Tashkilotlar tuzilmagan ma'lumotlarni to‘plashni boshlaganlarida, ularga kerak edi
tabiiy tilga asoslangan yangi tahlil vositalari. Internet qidiruv tizimlari juda katta hajmga ega
ekanligini aniqladilar siz foyda olishingiz mumkin bo‘lgan ma'lumotlar, ammo bu innovatsion
yondashuvlar va vositalarni joriy qilishni talab qiladi.
Katta ma'lumotlar texnologiyasi - ma'lumotlarni boshqarish jarayonlaridagi yarim asrlik
rivojlanishning yakuni. Qaysi bosqichda ekanligini tushunish uchun Biz bugun qayerda
12
ekanmiz, oldingisining tagida nima yotganini bilish muhimdir bir bosqichdan ikkinchisiga
o‘tishda avval qo‘llanilgan vositalar, texnologiyalar va usullar ko‘pincha foydalanishdan
chiqmasligini, aksincha, o‘zgartirilishini unutmang. yangi muammolarni hal qilish uchun.
Boshqariladigan ma'lumotlar tuzilmalarini yaratish-
1960-yillarning oxirida
kompyuter tizimlari tijorat bozoriga kirganida, ma'lumotlar tekis fayllar deb ataladigan
fayllarda saqlanadi. ichki ierarxiyasiz, bir hil yozuvlardan iborat edi ma'lumotlar. Bunday
ma'lumotlar bazalaridan batafsil ma'lumot olishingiz mumkin.
Faqat qo‘pol kuch bilan edi. Bunday fayldan ma'lumot olish juda ko‘p mehnat talab qiladi
va buning sababi. To‘ldirayotganingizni tasavvur qiling xodim ma'lumotlari bilan fayl va
DD.MM.YY shaklida tug‘ilgan sanani ko‘rsating va avval familiyani, so‘ngra ismingizni va
sizning ismingizni kiriting. Kompaniyaning ikkinchi yarmini qayta ishlagan hamkasbi sanani
saqlab qoldi format YYYY.MM.DD. va familiyani ismdan keyin emas, balki oldin ko‘rsatadi;
Dasturchi buni o‘z ishida hisobga olishi kerak. Bu nima noqulay, hisobot tayyorlash
uchun kamida 2-3 kishidan olingan ma'lumotlarni to‘plagan har qanday shaxsga ma'lum.
1970-yillarda hamma narsa o‘zgartirildi - relyatsion ma'lumotlar modeli ixtiro qilindi va
relyatsion ma'lumotlar bazasini boshqarish tizimlari (relyatsion DBMS) paydo bo‘ldi, bu esa
ma'lumotlarni tuzish va ko‘paytirish imkonini berdi.
Axborot bilan ishlash samaradorligi, eng muhimi, aloqadorlik model mavhumlik
darajasini qo‘shdi (Tuzilgan so‘rovlar tili (SQL), hisobot generatorlari va ma'lumotlarni
boshqarish uchun yordamchi dasturlar). Bu dasturchilarga tegishli ma'lumotlarni olish uchun
o‘sib borayotgan biznes ehtiyojlarini qondirishni osonlashtiradi.
Relyatsion model tufayli ko‘plab istiqbolli kompaniyalar tomonidan ishlab chiqilgan
dasturiy ta'minot ekotizimini yaratish mumkin bo‘ldi. Shunday qilib, mamnun bo‘ldi.
Korxonalarning o‘z ma'lumotlarini yaxshiroq tartibga solishga bo‘lgan ehtiyojining ortishi
turli sohalardagi operatsiyalarni taqqoslash imkonini berdi. Bundan tashqari, rahbarlar
inventarizatsiya ma'lumotlarini buyurtma ma'lumotlari bilan taqqoslash natijalari qaror
qabul qilish jarayonida mijozlar. Ammo kengaytirish bilan birga imkoniyatlar, yangi
texnologiyalar ham yangi muammolarni keltirib chiqardi. Doimiy o‘sib borayotgan
ma'lumotlarni saqlash qimmatga tushdi, va bunday ma'lumotlarga kirish sekin edi. Bundan
tashqari, ma'lumotlar ko‘pincha ko‘paytirildi, shuning uchun ma'lumotlarning haqiqiy biznes
qiymatini aniqlash qiyin edi.
Relyatsion modelni qo‘llab-quvvatlash uchun yangi texnologiyalarga shoshilinch ehtiyoj
bor. Shaxs-munosabatlar modeli yaratildi (ER), bu esa ko‘paygan qo‘shimcha mavhumlikni
qo‘shdi ma'lumotlardan foydalanish samaradorligi. Ushbu modelda har bir ob'ekt uning
qo‘llanilishidan mustaqil ravishda aniqlangan, shuning uchun ishlab chiquvchilar manbalar
o‘rtasida yangi munosabatlar o‘rnatishlari mumkin edi murakkab dasturlashdan
foydalanmasdan ma'lumotlar. Bu ishlab chiquvchilarga texnologiya chegaralarini kengaytirish
va ta'minlaydigan yanada ilg‘or modellarni yaratish imkonini beradigan katta qadam bo‘ldi
Ob'ektlarni birlashtirishning murakkab usullari. Relyatsion ma'lumotlar bazasi bozori
yetmishinchi yillarda haqiqiy bumni boshdan kechirdi va dinamik bo‘lib qolmoqda
Bunday ma'lumotlar bazalari yuqori darajada tuzilgan ma'lumotlar tranzaktsiyalarini
boshqarish uchun keng qo‘llaniladi.
Boshqarish kerak bo‘lgan ma'lumotlar hajmi nazoratdan tashqarida o‘sganida,
ma'lumotlar omborlarining paydo bo‘lishi kunni ma'lumotlar saqlab qoldi.
13
Ular kompaniyalarning IT bo‘limlariga tahlilni soddalashtirish uchun saqlangan
ma'lumotlar uchun bir qator ma'lumot parametrlarni tanlash imkonini berdi.
Saqlangan ma'lumotlar miqdori va uning kamayishi tufayli Muayyan biznes ehtiyojlariga
ko‘ra tanlangan ma'lumotlar omborlari kompaniyalarga tahlil qilinishi kerak bo‘lgan
ma'lumotlarning ortib borayotgan miqdorini engishga yordam berdi.
Operatsion darajadagi qarorlarni qo‘llab-quvvatlash jarayonlarini ajratish va kompaniya
boshqaruvining strategik darajalari samaradorlikka ijobiy ta'sir ko‘rsatdi. Bundan tashqari,
ma'lumotlar omborlarida tashkilotning samaradorligini baholash, tendentsiyalar va
naqshlarni, shu jumladan iste'molchilarning xatti-harakatlarini aniqlash uchun zarur bo‘lgan
o‘tgan yillar uchun ma'lumotlarni o‘z ichiga oladi. Kiruvchi tahlil qilish uchun turli
manbalardan va ma'lumotlar omborida jamlangan ma'lumotlardan ham foydalanish mumkin.
Tijorat Ma'lumotlar ombori ilovalari bozorda 1990-yillarda paydo bo‘ldi. Yoniq bugungi
kunda ham kontentni boshqarish tizimlarida, ham omborlarda maʼlumotlar, apparat
taʼminotining kengayishi, virtualizatsiya texnologiyalari va integratsiyalashgan dasturiy-
apparat tizimlarini yaratish kabi afzalliklar amalga oshiriladi.
Ma’lumotni qayta ishlashning eng keng tarqalgan usullari (dasturiy ta’minot)
quyidagilarni o‘z ichiga oladi:
SQL
– ma’lumotlar bazalari bilan ishlashga imkon beradigan tuzilgan so„rovlar tili.
SQL
-dan foydalanib, siz m‘lumotlarni yaratishingiz va o‘zgartirishingiz mumkin va
tegishli ma’lumotlar bazasini boshqarish tizimi ma’lumotlar qatorini boshqarish uchun
javobgardir.
NoSQL
- atama nafaqat SQL (SQLemas) degan ma’noni anglatadi. Bu ma’lumotlar
bazasini amalga oshirishga yo‘naltirilgan bir qator yondashuvlarni o‘z ichiga oladi, ular
an’anaviy, bo‘langan MBBTlarda foydalaniladigan modellardan farq qiladi. Ular doimo
o‘zgarib turadigan ma’lumotlar tuzilishi bilan foydalanish uchun qulaydir. Masalan, ijtimoiy
tarmoqlarda ma’lumot to‘plash va saqlashda. Mapreduce - hisob-kitoblarni taqsimlash modeli.
U juda katta ma’lumot to‘plamlari (petabaytlar) bo‘yicha parallel hisoblashlarda qo‘llaniladi.
Dastur interfeysida ma’lumotlar qayta ishlash uchun dasturga emas, balki dastur
ma’lumotlarga uzatiladi. Shunday qilib, so‘rov alohida dastur bo‘lib, jarayon prinsipi – ikki
usulida ma’lumotlarni ketma-ket qayta ishlaydi, Map (Xarita) dastlabki ma’lumotlarni tanlaydi
va Reduce ularni agregatlarini qisqartiradi.
Hadoop
- Facebook, eBay, Amazon va boshqalarga yuklangan saytlarni qidirish va
kontekstual mexanizmlarini amalga oshirishda foydalaniladi. O‘ziga xos xususiyati shundaki,
tizim biron bir klaster tugunlarining ishdan chiqmasidan himoyalangan, chunki har bir blok
tugunda boshqa ma’lumotlarning kamida bitta nusxasi bor.
SAP XANA – ma’lumotlarni saqlash va qayta ishlash uchun yuqori samarali NewSQL
platformasi. Yuqori tezlikda so‘rovlarni qayta ishlashni ta’minlaydi. Yana bir o‘ziga xos jihat
shundaki, SAPXANA analitik tizimlarni qo‘llab-quvvatlash xarajatlarini kamaytirgan holda,
tizim landshaftini soddalashtiradi. Shunindek, Big Data tegishli vositalar Hive, HBase,
MapReduce, Spark RDD, Spark Streaming, SparkSQL, SparkR, MLlib, Flume, Sqoop, Oozie,
Kafka, Data freymlari va GraphX vositalari bilan ishlaydi.
References:
1.
Davenport, T.H., Barth, P., Bean, R., 2012. How „Big Data‟is Different. MIT Sloan
14
Management Review 54, p.43- 46.
2.
https://www.coursera.org/articles/what-is-big-data-a-laypersons-guide
3.
Brown, B., Chul, M., Manyika, J., 2011. Are you ready for the era of “big data”? McKinsey
Quarterly, Strategy & Corporate Finance Insights. p.24-35.
4.
Cherif, E., Grant, D., 2013. Analysis of e-business models in real estate. Electron Commer
Res, 1-26.
5.
Исломов Б. И., Убайдуллаев У. Ш. Обратная задача для уравнения смешанного типа
с оператором дробного порядка в прямоугольной области //Известия высших учебных
заведений. Математика. – 2021. – №. 3. – С. 29-46.
6.
Davenport, T.H., Barth, P., Bean, R., 2012. How „Big Data‟is Different. MIT Sloan
Management Review 54, p.43- 46
7.
Убайдуллаев У. Ш. Обратная задача для смешанного нагруженного уравнения с
оператором Римана-Лиувилля в прямоугольной области //Вестник КРАУНЦ. Физико-
математические науки. – 2020. – Т. 31. – №. 2. – С. 18-31.
8.
Fosso Wamba, S., Akter, S., Edwards, A., Chopin, G., Gnanzou, D., 2015c. How „big data‟
can make big impact: Findings from a systematic review and a longitudinal case study.
International Journal of Production Economics 165, 234- 246
