Методы и программно-алгоритмические комплексы обеспечения достоверности информации в системах электронного документооборота на основе prизбыточности

ТОШКЕНТ АХБОРОТ ТЕХНОЛОГИЯЛАРИ УНИВЕРСИТЕТИ ва

ЎЗБЕКИСТОН МИЛЛИЙ УНИВЕРСИТЕТИ ҲУЗУРИДАГИ ФАН

ДОКТОРИ ИЛМИЙ ДАРАЖАСИНИ БЕРУВЧИ 16.07.2013.Т/FM.29.01

РАҚАМЛИ ИЛМИЙ КЕНГАШ

______________________________________________________________

ЎЗБЕКИСТОН РЕСПУБЛИКАСИ АЛОҚА, АХБОРОТЛАШТИРИШ ВА

ТЕЛЕКОММУНИКАЦИЯ ТЕХНОЛОГИЯЛАРИ ДАВЛАТ ҚЎМИТАСИ

ТОШКЕНТ АХБОРОТ ТЕХНОЛОГИЯЛАРИ УНИВЕРСИТЕТИ

АХАТОВ АКМАЛ РУСТАМОВИЧ

ЭЛЕКТРОН ҲУЖЖАТ АЙЛАНИШ ТИЗИМЛАРИДА

МАЪЛУМОТЛАР ИШОНЧЛИЛИГИНИ PR-ОРТИҚЧАЛИК АСОСИДА

ТАЪМИНЛАШ УСУЛ ВА ДАСТУРИЙ-АЛГОРИТМИК

МАЖМУАЛАРИ

05.13.01 –

Тизимли таҳлил, бошқарув ва ахборотни қайта ишлаш

(

техника фанлари)

ДОКТОРЛИК ДИССЕРТАЦИЯСИ АВТОРЕФЕРАТИ

Тошкент – 2014

УДК 519.681.5

Докторлик диссертацияси автореферати мундарижаси

Оглавление автореферата докторской диссертации

Content of the abstract of doctoral dissertation

Ахатов Акмал Рустамович

Электрон ҳужжат айланиш тизимларида маълумотлар

ишончлилигини PR-ортиқчалик асосида таъминлаш усул ва

дастурий-алгоритмик мажмуалари……………………………………………………………3

Ахатов Акмал Рустамович

Методы и программно-алгоритмические комплексы

обеспечения достоверности информации в системах электронного

документооборота на основе PR-избыточности……………………………………………29

Akhatov Akmal

Methods, software and algorithmic complexes of providing
information authenticity in electronic document
interchange systems on the basis of PR-redundancy……………………………………………55

Эълон қилинган ишлар рўйхати

Список опубликованных работ
List of published works………………………………………………………………………….80

3

ТОШКЕНТ АХБОРОТ ТЕХНОЛОГИЯЛАРИ УНИВЕРСИТЕТИ ва

ЎЗБЕКИСТОН МИЛЛИЙ УНИВЕРСИТЕТИ ҲУЗУРИДАГИ ФАН

ДОКТОРИ ИЛМИЙ ДАРАЖАСИНИ БЕРУВЧИ 16.07.2013.Т/FM.29.01

РАҚАМЛИ ИЛМИЙ КЕНГАШ

______________________________________________________________

ЎЗБЕКИСТОН РЕСПУБЛИКАСИ АЛОҚА, АХБОРОТЛАШТИРИШ ВА

ТЕЛЕКОММУНИКАЦИЯ ТЕХНОЛОГИЯЛАРИ ДАВЛАТ ҚЎМИТАСИ

ТОШКЕНТ АХБОРОТ ТЕХНОЛОГИЯЛАРИ УНИВЕРСИТЕТИ

АХАТОВ АКМАЛ РУСТАМОВИЧ

ЭЛЕКТРОН ҲУЖЖАТ АЙЛАНИШ ТИЗИМЛАРИДА

МАЪЛУМОТЛАР ИШОНЧЛИЛИГИНИ PR-ОРТИҚЧАЛИК АСОСИДА

ТАЪМИНЛАШ УСУЛ ВА ДАСТУРИЙ-АЛГОРИТМИК

МАЖМУАЛАРИ

05.13.01 –

Тизимли таҳлил, бошқарув ва ахборотни қайта ишлаш

(

техника фанлари)

ДОКТОРЛИК ДИССЕРТАЦИЯСИ АВТОРЕФЕРАТИ

Тошкент – 2014

4

Докторлик диссертацияси мавзуси Ўзбекистон Республикаси Вазирлар Маҳкамаси

ҳузуридаги Олий аттестация комиссиясида 20.02.2014/B2013.1.T1 рақам билан

рўйхатга олинган.

Докторлик диссертацияси Самарқанд давлат университетида бажарилган.

Докторлик диссертациясининг тўлиқ матни Тошкент ахборот технологиялари университети

ва Ўзбекистон Миллий университети ҳузуридаги Фан доктори илмий даражасини берувчи

16.07.2013.Т/FM.29.01 рақамли илмий кенгаш www.tuit.uz манзилидаги веб-саҳифасига

жойлаштирилган.

Диссертация автореферати уч тилда (ўзбек, рус, инглиз) www.tuit.uz манзилида веб-саҳифа

ҳамда

www.ziyonet.uz

манзили «ZIYONET» ахборот-таълим порталига жойлаштирилган.

Илмий

маслаҳатчи:

Жуманов Исраил Ибрагимович

техника фанлари доктори, профессор

Расмий

оппонентлар:

Набиев Озод Маликович

техника фанлари доктори, профессор

Нишанов Акрам Хасанович

техника фанлари доктори, профессор

Зайнидинов Хакимжон Насридинович

техника фанлари доктори, профессор

Етакчи

ташкилот:

Тошкент давлат техника университети

Диссертация ҳимояси Тошкент ахборот технологиялари университети ва

Ўзбекистон Миллий университети ҳузуридаги 16.07.2013.Т/FM.29.01 рақамли Илмий

кенгашнинг «28» июн 2014 йил соат 10

00

даги мажлисида бўлиб ўтади (Манзил: 100202,

Тошкент, Амир Темур кўч., 108. Тел.: (99871) 238-64-43; факс: (99871) 238-65-52; e-mail:

tuit@tuit.uz.).

Докторлик диссертацияси билан Тошкент ахборот технологиялари университетининг

Ахборот-ресурс марказида танишиш мумкин (01 рақами билан рўйхатга олинган). Манзил:

100202, Тошкент, Амир Темур кўч., 108. Тел.: (99871) 238-64-43.

Диссертация автореферати 2014 йил « » майда тарқатилди.

(2014 йил « » майдаги 1 рақамли реестр баённомаси).

Х.К.Арипов

Фан доктори илмий даражасини берувчи

илмий кенгаш раиси т.ф.д., профессор

М.С.Якубов

Фан доктори илмий даражасини берувчи

илмий кенгаш илмий котиби т.ф.д., профессор

Т.Ф.Бекмуратов

Фан доктори илмий даражасини берувчи

илмий кенгаш ҳузуридаги илмий семинар раиси

т.ф.д., академик

5

ДОКТОРЛИК ДИССЕРТАЦИЯCИ АННОТАЦИЯСИ

Диссертация мавзусининг долзарблиги ва зарурияти.

Ахборотлаш-

тириш жаҳон тажрибасида электрон ҳужжат айланиш тизимлари (ЭҲТ),

кейинги йилларда нафақат бошқарув жараёнларини автоматлаштирувчи

тизимлари, балки ягона ахборот майдонини яратиш учун тўлақонли

платформаси сифатида ҳам каралмоқда ва жорий этилмоқда, бу эса, сўзсиз,

улардан фойдаланиш соҳаларини кенгайтиришга ва илмий ҳамжамиятда унга

бўлган қизиқишнинг ортишига сабаб бўлди. Ахборот-коммуникация техно-

логиялари соҳасининг етакчи олимлари тадқиқотларида ЭҲТ тезкорлиги ва

унумдорлигини оширадиган самарали технологияларини яратиш учун иш

юритиш ҳужжатларини шакллантиришда ахборотни ишончли йиғиш,

узатиш, таҳлил, кодлаш масалаларининг ечимига бўлган эҳтиёж алоҳида

ажратиб кўрсатилмоқда.

Ўзбекистон Республикаси ҳукумати томонидан амалга оширилаётган

ҳудудий автоматлаштирилган бошқарув тизимларини ривожлантириш ҳамда

ягона ахборот майдонини яратиш бўйича чора-тадбирлар ахборот тизимлари,

ЭҲТ, маълумотлар базаларини (МБ) замонавий ахборот-коммуникация

технологиялари асосида кенг жорий этишга қаратилган. Шу сабабли,

электрон ҳужжат айланиш тизимлари тузилмасида минимал даражадаги

моддий ҳаражатлар ва вақт сарфи билан хатоларни самарали аниқлаш ва

тузатиш имконини берадиган, ахборот узатиш сифатини ошириш учун

фойдаланадиган ахборот ресурсларига тафаккурли ишлов бериш усулларини

ишлаб чиқиш халқ хўжалигида жиддий аҳамият касб этиб, ҳозирга қадар

тўлиқ ечимини топмаган назарий ва амалий муаммолар қаторига киради.

Ахборот ресурслари ва маълумотларни узатиш оқимларига қўйиладиган

талаблар ЭҲТ самарадорлиги ва ишлаш сифатинининг муҳим омили

сифатида маълумотлар барқарорлиги, яхлитлиги, бутунлиги ва

ишончлилигини таъминлашда ўз ифодасини топган. Бундай омиллар орасида

маълумотлар ишончлилиги мезони, узатиладиган маълумотларда техник

воситаларнинг турли узилиш ҳолатлари ва носозликлари, алоқа каналларига

бўладиган ташқи таъсирлар, оператор хатолари ва сканерловчи ҳамда

танувчи тизимлар ноаниқликлари сабабли хатоликлар пайдо бўлиши туфайли

жиддий эътиборга молик.

Шунингдек, корхона ва ташкилотларда автоматлаштирилган бошқарув

ва электрон ҳужжат айланиш шароитларига хос, маълумотларга ишлов

беришнинг устувор технологияси сифатида ахборотларни узатиш ва уларга

ишлов беришнинг ишончлилигини назорат қилувчи самарали тизимларини

қуриш бошқача илмий қизиқиш уйғотади.

Мавжуд усуллар маълумотларни узатиш ишончлилигини юқори

даражада таъминлашига қарамасдан, ўзига хос ечилмаган масалалар мавжуд.

Асосийлари сифатида қуйидагиларни ажратиб кўрсатиш мумкин: электрон

ҳужжат айланиш технологияларини ишлаб чиқишда маъумотларни узатиш

пакетларида катта ҳажмдаги моддий манбалар сарлавҳаларни узатишга

сарфланади, шу билан бирга сарлавҳа маълумотларнинг кўп қисми кадрни

6

узатиш оқими мобайнида пакетдан-пакетгача ўзгармас бўлади (бу жараёнда

пайдо бўладиган информацион ортиқчалик ва узатиш ишонлилигини

таъминловчи механизмлар, асосан, хос хабарларни ва пакетларни қайта

узатишга асосланади, бу эса, ўз навбатида, хатоларни аниқлаш ва тузатиш

учун қўшимча вақт сарфланишига ва моддий ҳаражатларнинг ортишига олиб

келади); маълумотлар ишончлилигини ошириш учун кодлаш ва аппаратурали

усуллар, асосан, пакетнинг бошқарув майдонида содир бўладиган бир ва

икки каррали хатоларни тузатади, аммо маълумотларни узатишда ахборот

майдонлар ҳам хатоликларга учрайди ва улар кўп каррали (уч-, турт-,

к

-

каррали) матнли маълумотлардаги хатолар кўринишида бўлади.

Шу туфайли, ахборотларни узатиш ишончлилигини ошириш масаласи

ечимини икки соҳада кўриш мақсадга мувофиқдир.

Биринчи турдаги масалалар ечими маълумотларни киритувчи оператор,

сканерлаш ва бошқа ускуналар хатоликларини ҳисобга олади. Шуни алоҳида

таъкидлаш керак-ки, бу турдаги хатолар нотўғри қабул қилинган матн

маълумотларининг катта ҳажмини ташкил этади ва OSI (Open System
Interconnection reference model)

моделининг Амалий ва Тақдимот

босқичларида содир бўлади.

Ахборот ишончлилиги назоратига бағишланган иккинчи турдаги

масалалар OSI моделининг Транспорт, Тармоқ, Физик ва Канал

босқичларида пайдо бўладиган хатоликлар эҳтимолларини ҳисобга олади.

Диссертацияни бажарилишига бўлган зарурият шунинг билан

ифодаланадики, электрон хужжат айланиши IP-технологиясининг кенг

доирада жорий этилиши хужжатларни тайёрланиш ва расмийлаштириш

жараёнида хатоликларни аниқлаш ва бартараф этишга жиддий эътибор

қаратишни талаб этмоқда.

Мазкур тадқиқот «Ахборотлаштириш», «Электрон рақамли имзо»,

«

Электрон хужжат айланиш», «Электрон тижорат», «Электрон тўловлар»

тўғрисидаги Ўзбекистон Республикасининг қонунлари ҳамда Ўзбекистон

Республикаси Вазирлар Маҳкамасининг 2011 йил 4 майдаги «Вазирлар

Маҳкамасининг ижро этувчи аппаратида, давлат ва хўжалик бошқаруви,

маҳаллий давлат ҳокимияти органларида ягона ҳимояланган электрон

почтани ва электрон хужжат айланиш тизимини жорий этиш ҳамда улардан

фойдаланиш чора-тадбирлари тўғрисида»ги 126-сонли қарорини ижросини

таъминлашга хизмат қилади.

Шу жиҳатдан юқорида санаб ўтилган масалалар ечими маълумотларни

узатувчи пакетлар таркибида маълумотлар ишончлилигини информацион

ортиқчаликдан фойдаланишга асосланган назорат қилувчи усул ва

алгоритмларни, шаклланиб бўлган узатиш муҳитида ҳам ишлайдиган ва

мавжуд камчиликларни бартараф этишга қаратилган махсус тадқиқотни

бажариш ва ишланмаларни яратишни талаб қилади. Мазкур ҳолат ишлов

бериладиган объект хусусиятига кўра аниқланадиган янги турдаги PR-

ортиқчалик асосида ахборот ишончлилигини таъминловчи махсус

алгоритмлар синфини ажратиб олиш заруриятини асослайди.

7

Тадқиқотнинг Ўзбекистон Республикаси фан ва технологиялар

тараққиётининг устувор йўналишларига мослиги.

Диссертация фан ва

технологиялар ривожланишнинг устувор йўналишига мос равишда бажарил-

ган: ИДТ-17 – «Ахборот телекоммуникация технологияларини кенг

ривожлантириш ва жорий этишни таъминлайдиган замонавий ахборот

тизимлари, бошқарув ва ўқитишнинг интеллектуал воситалари, илмий-

техникавий маълумотлар базаси ва дастурий маҳсулотларини ишлаб чиқиш»;

ИТД-5 – «Жамиятни ахборотлаштириш даражасини оширишга йўналтирил-

ган илмий ҳажмдор ахборот технологияларни, телекоммуникацион

тармоқларни, аппарат-дастурий воситаларни интеллектуал бошқариш,

ўқитиш усулларини ва тизимларини ишлаб чиқиш».

Диссертация мавзуси бўйича халқаро илмий тадқиқотлар шарҳи.

Ахборотларни узатиш ва уларга ишлов бериш ишончлилигини

автоматлашган назорат қилиш усул ва воситаларини табиий тил

хусусиятларини ҳисобга олган ҳолда ишлаб чиқиш бўйича тадқиқот ишлари

АҚШ, Буюк Британия, Россия, Хитой, Германия, Австрия, Швеция,

Норвегия, Финляндия, Туркия, Исроил, Канада, Корея, Лотин Америкаси

(Бразилия, Аргентина, Чили) ва бошқа мамлакатлар олимлари томонидан

олиб борилиб, маълум даражадаги натижаларга эришилмоқда.

Gartner, International Data Corporation, Wobot, Forrester, CNews Analytics,

ЮНИПРАВЭКС, Прогноз, Итерфейс ИТ, Интеллект Телеком ва бошқа

халқаро эксперт компанияларининг нашрларида эълон қилинишича, ЭҲТ

технологияларининг ривожланиши ҳужжатларга ишлов бериш, WEB орқали

кўп тармоқли бошқарув ва офис жараёнларини автоматлаштириш

усулларини интеграциялаш йўналишида тараққий этмоқда. Шу қаторда,

уларга илгари боғлиқ бўлмаган, инсон омили таъсирини пасайтирувчи

ускунавий мажмуа сифатидаги, электрон ҳужжатларнинг маълумотларини

киритиш, узатиш ва ишлов беришда пайдо бўладиган хатоларини

автоматлашган аниқлаш ва тузатиш, табиий тил имлосини назорат ва

таҳрирлаш технологияларини бирлаштириш долзарблиги ва эҳтиёжи

таъкидланиб келмоқда.

Шу каби, тармоқ хизматларидан фойдаланишда эҳтиёжлар аниқланиши

билан, маълумотларни узатиш технологиясига асосланган янги йўналиш ва

иловаларни яратишга бағишланган тадқиқотлар фаоллашмоқда. Илмий-

техник адабиётларни таҳлилий ўрганиш шуни кўрсатади-ки, электрон

ҳужжат айланишнинг, электрон рақамли имзо ёки маълумотлар

ҳаққонийлиги ва яхлитлигини кафолатлайдиган технологияларини қўллаш

билан бирга шубҳасиз афзаллиги – электрон ҳужжатларни шакллантириш,

киритиш, узатиш ва қайта ишлашда пайдо бўладиган хатоларни инсон

иштирокини камайтирувчи маълумотларни автоматлашган назорат қилиш

усуллари ҳисобига аниқлаш ва тузатиш имкониятидир.

Муаммонинг ўрганилганлик даражаси.

Матнли маълумотларни

узатиш ишончлилигини ошириш муаммосининг тадқиқот этиш услубиятини

тараққий этган ҳамда, ахборотнинг сунъий ортиқчалигини қўллашга

асосланган кодлаш назарияси ва аппаратли услублар ташкил қилади, бу соҳа,

8

ўз навбатида, кўп сонли монография, диссертация тадқиқотлари ва илмий

мақолаларда ўз аксини топган. Таъкидлаш жоизки, ЭҲТларда матнли

маълумотларни узатиш ва қайта ишлашнинг асосий ҳусусиятларидан бири бу

уларда ишлатилаётган ҳужжат ва хабарлар таркибида сунъий, табиий, статис-

тик информацион ва таркибий-технологик ортиқчаликнинг мавжудлигидир.

Тадқиқотнинг натижалари маълумотларни узатишнинг мавжуд

услубларини қулай тўлдирувчи ва қўйилган турли табиатли ортиқчаликдан

фойдаланиш муаммосининг ечимида янги йўналишнинг илмий-услубий

асослари бўладиган, ЭҲТларнинг ахборот ресурсларии узатиш ва қайта

ишлаш ишончлилигини таъминловчи усул, алгоритмик ва дастурий

мажмуалар кенг кўламини касб этиши лозим.

Диссертация тадқиқотининг илмий-тадқиқот ишлари режалари

билан боғлиқлиги

қуйидаги лойиҳаларда ўз аксини топган:

давлат илмий-техника дастури (ДИТД)-4 – «Ахборотлаштириш, бош-

қарувни автоматлаштириш тизимлари ва технологик жараёнларни

мувофиқлаштириш дастурий воситалари ва услубларини ишлаб чиқиш»
(2000-

2002 й.й.);

ДИТД-20 – «Информацион ва телекоммуникация технологияларини кенг

кўламда ривожлантиришни таъминловчи замонавий информацион тизим,

бошқарув воситалари, маълумотлар базаси ва дастурий маҳсулотларни

ишлаб чиқиш» (2003-2005 й.й.).

Тадқиқотнинг мақсади

PR-

ортиқчаликдан фойдаланишга асосланиб,

маълумотларни узатишда ахборот ишончлилигини назорат қилувчи

конструктив усул, модел, алгоритм ва тизимларини яратиш, уларни электрон

ҳужжат айланиш технологияларини ишлаб чиқишда дастурий-алгоритмик

мажмуаларни жорий этишдан иборат.

Мақсадга эришиш учун қуйидаги

тадқиқот

вазифалари

қўйилган:

OSI

моделининг амалий ва тармоқ босқичларида турли хил PR-

ортиқчаликдан фойдаланиш бўйича маълумотлар ишончлилигини назорат

қилиш усул, дастурий-алгоритмик мажмуалар ва тизимларни яратиш ҳамда

ривожлантиршнинг услубиятини танлаш;

сунъий, табиий ва семантик PR-ортиқчаликдан фойдаланиб

йиғиндиларни ҳосил қилиш, матнларни арифметик ва статистик кодлаш

механизмлари бўйича маълумотлар ишончлилиги назорати усул, модел ва

алгоритмларини ишлаб чиқиш;

матн элементларини парсингли кодлаш, n-граммли тавсифлаш,

статистик таниш ва хеш-кодлаш механизмларини тадқиқ қилиш ва уларни

маълумотлар ишончлилигини назорат қилувчи усул, модел ва

алгоритмларини ишлаб чиқишда қўллаш;

кўп босқичли морфологик таҳлил қилиш ва хатоларни n-граммли

тавсифлаш асосида матнлар ишончлилигини назорат қилувчи усул, модел ва

алгоритмларни ишлаб чиқиш; имлони назорат ва таҳрир қилувчи тизимнинг

асосий компонентларини моделлаштириш; назорат сифати баҳосини

тавсифлаш;

9

таркиблашган мантиқий мезонлар, маълумотлар ва билимлар базалари,

эксперт тизимлари асосида таркибий-технологик PR-ортиқчаликни

шакллантириш ва маълумотлар ишончлилигини назорат қилувчи модел ва

алгоритмларини ишлаб чиқишда жорий этиш;

ахборот ресурсларига интерфаол ишлов бериш тизимни матнлар

ишончлилигини назорат қилувчи алгоритмлар синтези асосида ишлаб чиқиш,

тажрибали синаш ва самарадорлигини баҳолаш, телекоммуникация

тизимлари ва ЭҲТда натижаларни жорий этиш самарадорлигини ҳисоблаш.

Тадқиқот объекти

сифатида электрон ҳужжат айланиш тизимларида

маълумотлар ва ҳужжатларни тўплаш, шакллантириш, киритиш, узатиш ва

уларга ишлов бериш ахборот ресурслари ҳамда технологиялари қаралган.

Тадқиқот

предмети

–

турли

табиатдаги

информацион

PR-

ортиқчалигидан

фойдаланиш механизмига асосланган

матнли

маълумотларни назорат қилувчи усул, модел, алгоритмлари ва тизими.

Тадқиқот усуллари.

Тадқиқот жараёнида тизимли таҳлил, ахборот

узатиш назарияси, тармоқ технологиялари, эҳтимоллар назарияси,

қиёфаларни таниш, компьютер лингвистикаси, алгоритмлаш ва

моделлаштириш ҳамда объектга йўналтирилган дастурлаш усул ва

алгоритмлари қўлланилган.

Диссертация тадқиқотининг илмий янгилиги

қуйидагилардан иборат:

электрон ҳужжат айланиш тизимларида маълумотлар ишончлигини

таъминлаш усул, модел ва алгоритмларни яратишнинг концепция, услубияти

ва дастурий-алгоритмик асослари ишлаб чиқилган, PR-ортиқчаликка эга

бўлган объектлар синфлари ЭҲТда ахборот ресурслари аниқлиги, яхлитлиги,

тезкорлиги, ихчамлиги, мурожаатини таъминлаш учун ажратиб қаралган;

сунъий ортиқчаликдан фойдаланувчи чизиқли, модулли ва текислик

бўйича йиғиндиларни ҳосил қилиш ҳамда кодланган тўпламларга

тегишлиликни аниқлаш механизмларига асосланган маълумотлар

ишончлилигини назорат қилувчи усул ва алгоритмлар таклиф қилинган;

матн элементларини статистик, арифметик, парсингли кодлаш, таркиб-

лаштирувчи n-граммалар бўйича тавсифлаш, статистик таниш ва хешлаш

алгоритмлари асосида табиий ортиқчаликдан фойдаланувчи маълумотларни

назорат қилиш усул ва дастурий мажмуалари ишлаб чиқилган;

кўп босқичли морфологик таҳлил ва n-граммалар грамматикасининг

тавсифи моделлари асосида ўзбек тилида бериладиган матнлардаги

орфографик хатоларни назорат ва таҳрир қилувчи усул ва алгоритмлари

таклиф қилинган;

ички ўрнатиладиган эксперт тизимлардаги таркиблашган мантиқий

мезонлар, маълумотлар ва билимлар базалари асосида таркибий-технологик
PR-

ортиқчаликдан фойдаланувчи ахборот ишончлилигини назорат қилиш

модел ва алгоритмлари ишлаб чиқилган;

электрон ҳужжат айланиш технологияларини ишлаб чиқишда хатоларни

назорат ва таҳрир қилувчи интерфаол тизимлар таркибида матнли

маълумотлар ишончлилигини назорат қилиш алгоритмларини синтези

усуллари ишлаб чиқилган.

10

Тадқиқотнинг амалий натижалари

қуйидагилардан иборат:

сунъий, табиий ва статистик, таркибий-технологик, дастурий-вақтли PR-

ортиқчаликлардан фойдаланувчи дастурий усулларни синтезлаш асосида

маълумотлар ишончлилигини ошириш тизимлари ишлаб чиқилган ва

уларнинг мажмуи OSI моделининг тадбиқий ва тармоқ даражаларида

қўлланаётган кодли ва аппратурали усуллар имкониятларини кенгайтиради

ҳамда матнли маълумотлар ишончлигини таъминлайди;

ишлаб чиқилган усуллар самарадорлиги хато аниқланмаслиги эҳтимоли

мезони асосида намойиши бўйича, улар 92% хатоларни аниқлайди ва бир,

икки каррали ва қўшма транспозицияли хатоларни тузатишга қодир; бундан

ташқари, назорат мураккаблиги ва жорий этиш ҳаражатларини хатолар содир

бўлишининг ўртача эҳтимоли шароитида 2-3 маротаба пасайтиради, ахборот

ишончлилигини эса, уч тартибгача оширади;

морфологик ва n-граммли таркиблашган моделлар ҳамда луғат,

статистик ва хеш-кодлаш усулларига асослаган матнли ахборотларни

узатишда орфографик хатоларни назорат ва таҳрир қилувчи тизимлар ишлаб

чиқилган, уларни параллел ҳисоблаш NVIDIA дастурий-аппарат муҳитида

сонли таҳлил стандарт кутубхоналари ҳамда CPU ва GPU орасида мақбул

маълумотлар алмашувини берувчи воситаларни амалда қўллаш таклиф

этилган;

фреймворк Сфинкс-4 архитектураси турли тил моделларига асосланган

дастурий модуллари учун амалга оширилган ва тизимнинг яратилган

вариантида морфологик таҳлилга асосланган имлони назорат қилувчи

тизимга нисбатан аниқланмаган хатолар сонини, жорий этиш ҳаражатини

ҳамда назорат мураккаблигини икки маротаба камайтиришга эришилди.

Олинган натижаларнинг ишончлилиги

таклиф этилган моделлар учун

ўтказилган математик тадқиқот, олинган формула ва амалий натижалар,

умумқабул қилинган мезонлар асосида ўтказилган қиёсий таҳлил билан

асосланди. Тадқиқот натижаларини мантиқий асосланишини баҳолаш учун

дастурий мажмуалар оммабоп адабий ва техник адабиётларнинг кенг

контексти бўйича тест синовидан ўтказилди, дастурий мажмуалар

самарадорлигининг қиёсий таҳлили назорат мураккаблиги, жорий этиш

ҳаражатлари ва хатолар аниқланмасиги эҳтимоли мезонлари бўйича ахборот

ишончлилигини назорат қилувчи кўп синфли алгоритмлари учун

бажарилган.

Тадқиқот натижаларининг назарий ва амалий аҳамияти.

Тадқиқотда

олинган натижаларнинг назарий моҳияти шундан иборатки, турли табиатли –

сунъий, табиий, статистик, таркибий-технологик, дастурий-вақтли PR-

ортиқчаликдан фойдаланиш тамойилларига асосланиб ишлаб чиқилган усул,

модел ва алгоритмлар OSI моделининг тадбиқий ва тармоқ босқичларида

мавжуд кодли ва аппаратурали усулларни муваффақиятли тўлдирувчи ва

ахборот ишончлилигини таъминловчи тадбиқий усуллар синтези йўли билан

ЭҲТда ахборот ишончлилигини оширувчи тизимларни яратиш концепцияси

ва дастурий-алгоритмик мажмуалари асосларини ташкил этади.

11

Диссертация ишининг амалий аҳамияти матнлар грамматикасини кўп

босқичли тавсифлаш ва n-граммли таркиблашган моделлари, ўзбек тили

имлосини назорат ва таҳрир қилиш жараёнларини дастурий жорий этиш учун
PR-

ортиқчаликни қўллаш билан аниқланади ва бу жараёнлар n-граммли

кўрсаткичларни самарали ҳисоблаш ва улардан фойдаланиш, статистик ва

парсингли таниш ва кодлаш механизмлари асосида маълумотлар

ишончлилигини назорат қилиш қоидаларини шакллантириш, OSI тармоқ

моделининг тадбиқий ва тақдимот босқичларида хатоларни аниқлаш ҳамда

тузатиш

имкониятини яратади. Маълумотлар ишончлилигини назорат қилиш

дастурий мажмуаларини ЭҲТ тузилмасида жорий этиш ҳужжатларни

шакллантиришда вақт сарфи ва моддий ҳаражатларни камайтиради, ахборот

алмашинув жараёнларини инсон омилига боғлиқ бўлган хатоларни аниқлаш

ва тузатиш ҳисобига жадаллаштиради.

Тадқиқот натижаларининг жорий қилиниши.

PR-

ортиқчаликка эга

бўлган объектлар синфлари ҳисобига ЭҲТда ахборот ресурслари аниқлиги,

яхлитлиги, тезкорлиги ва ихчамлиги юзасидан ишлаб чиқилган модел,

алгоритм, дастурий мажмуалар Ўзбекистон Республикаси Алоқа,

ахборотлаштириш

ва

телекоммуникация

технологиялари

давлат

қўмитасининг «ЎзТелеком» компанияси Самарқанд филиалида амалиётга

жорий этилган («СамТелеком» ШК, 23.05.2010 й.). Маълумотларни адаптив

узатиш, қайта ишлаш ва таҳлил қилиш тизимлари бўйича ишланмалар
«Lazzat Meva»

қўшма корхонаси фаолиятига жорий этилиб, йиллик

иқтисодий самара 62,2 млн. сўмни ташкил этган («Lazzat Meva» ҚК,
14.05.2010

йилдаги далолатнома).

Ишнинг апробацияси.

Тадқиқот натижалари 30 та илмий-амалий

анжуманлар, шу қаторда 14 та ҳалқаро симпозиум, конгресс ва семинар-

ларда, хусусан «Инновация» (Тошкент, 2004-2009), «Алоқанинг техника ва

технологияси» (Алмати, 2002), «Ал-Хоразмий 2009 – амалий математика ва

ахборот технологияларининг долзарб муаммолари» (Тошкент, 2009), «ICI-
2006», «ICI-

2007» (Тошкент, 2006-2007), «ICEIC 2008» (Тошкент, 2008),

Телекоммуникация бўйича олий таълим муассасаларининг X Халқаро илмий-

услубий анжумани (Россия, Ростов-на-Дону, 2008), «WCIS-2008», «WCIS-
2010», «WCIS-

2012» (Тошкент, 2008-2012), Турк математиклар III конгресси

(Козоғистон, Алмати, 2009) ҳамда «Технологияларнинг замонавий ҳолати ва

ривожланиш йўллари» (Тошкент, 2008), «Математика, механика ва ахборот

технологияларининг ҳозирги муаммолари» (Тошкент, 2008), «Математика ва

информатиканинг долзарб муаммолари» (Самарқанд, 2007-2010) республика

илмий анжуманлари ва Республика инновацион ғоя, технология ва лойиҳалар

Ярмаркаларида (Ташкент, 2008-2011) апробациядан ўтказилган.

Натижаларнинг эълон қилинганлиги.

Диссертация мавзуси бўйича 87

та илмий иш, жумладан, 9 та илмий мақола халқаро журналларда чоп

этилган.

Диссертациянинг тузилиши ва ҳажми.

Диссертация кириш, олтита

боб, ҳулоса, фойдаланилган адабиётлар рўйхати, 11 та илова ва 197 саҳифа

матн, 47 та расм ва 12 та жадваллардан иборат.

12

ДИССЕРТАЦИЯНИНГ АСОСИЙ МАЗМУНИ

Кириш

қисмида диссертация тадқиқотининг долзарблиги ва зарурияти

асосланган, тадқиқот мақсади ва вазифалари ҳамда объект ва предметлари

тавсифланган,

Ўзбекистон

Республикаси

фан

ва

технологияси

тараққиётининг устувор йўналишларига мослиги кўрсатилган, тадқиқот

илмий янгилиги ва амалий натижалари баён қилинган, олинган

натижаларнинг назарий ва амалий аҳамияти очиб берилган, тадқиқот

натижаларини жорий қилиш рўйхати, нашр этилган ишлар ва диссертация

тузилиши бўйича маълумотлар келтирилган.

Диссертациянинг

биринчи бобида

мавжуд маълумотлар ишончли-

лигини оширишнинг кодли ва аппаратурали усуллари назарий-информацион

таҳлили амалга оширилган; ахборот ишончлилигини оширувчи тизимларни

қуриш концепциясини касб этадиган, тадқиқотда PR-ортиқчалик деб қабул

қилинган турли табиатли – сунъий, табиий ва статистик, таркибий-

технологик ва дастурий-вақтли ортиқчаликдан фойдаланиш асосида

маълумотларни узатиш ишончлилигини назорат қилиш усул, модел ва

алгоритмларини ишлаб чиқишнинг вазифалари аниқланган.

Ишда рақамли телекоммуникация соҳаси иловаларининг кўпида кенг

қўлланиладиган Рид-Соломон, БЧХ, FEC каби услубларида амалга

ошириладиган кодли ортиқчалик тамойилини тасвирлайдиган хатоларни

назорат ва таҳрир қилиш схемаси берилган. Хатоларни код ортиқчалиги

бўйича аниқловчи ва тузатувчи алгоритмларнинг тамойил ва

механизмларининг тизимли таҳлили, шуни кўрсатди-ки, улар бир, икки, уч

каррали хатоларни аниқлаш билан чекланади, ҳамда сунъий равишда назорат

разрядини код таркибига киритишга асосланади. Бу эса, хатоларни

назоратловчи кодли ва аппаратли усуллар имкониятини оширишга

йўналтирилган тадқиқотни асослайди.

Матнли маълумотларни узатиш ва ишлов бериш тизимида ахборот

ишончлилигини ошириш учун турли табиатли – сунъий, таркибий-

технологик, дастурий-вақтли, статистик (табиий) ортиқчаликдан фойдаланиш

бўйича маълумотларни узатувчи пакетларда ишончлиликни назорат қилувчи

усул ва алгоритмларни ишлаб чиқишга чамаланган тадқиқот ва

ишланмаларни бажариш гипотезаси таклиф қилинган. Матнли маълумотлар

ишончлилигини назорат қилиш усул, алгоритмлари ва тизимларини

синтезлашга қаратилган асосий ёндошувлар ишлаб чиқилган. Бажарилган

тадқиқотларга кирган масалалар кетма-кетлиги матнли маълумотлар

ишончлилигини назорат қилувчи автоматлаштирилган тизимларнинг

(ММИНТ) таркибий-функционал компонентларни қуриш схемаси сифатида

тасвирланган.

Қўйилган масалаларни ечиш ва ишлаб чиқиладиган усул ва

алгоритмларни самарадорлигини PR-ортиқчалиги бўйича оширишни

баҳолашда хатоларни аниқланмаслик эҳтимоли талаб қилинган чегараларгача

камайтирилиши мезон сифатида қабул қилинган.

13

Кодли

0

S

сўзнинг қабули эҳтимолини баҳолаш формуласи қуйидагича

),

(

))

(

1

(

)

(

/

1

0

1

2

1

/

1

0

i

i

i

S

S

P

S

P

S

S

P

m

−

−

=

−

=

∑

бунда

)

(

0

S

P

–

дастлабки кодли сўзда хатонинг аниқланиш эҳтимоли,

)

/

(

/

1

S

S

P

i

–

i

S

кодли сўзни қабул қилинган

/

1

S

-

га нисбатан бўлган

шартли эҳтимоли,

m

–

сўзга кирган кодли разрядлар сони.

Кодли сўзни нотўғри қабул қилиш эҳтимолини баҳолаш қуйидаги

ифода бўйича амалга оширилади:

,

)

(

)

(

)

(

)

(

1

2

0

1

2

0

1

2

0

∑

∑

∑

−

=

−

≠

=

−

=

Λ

=

=

m

m

m

j

j

i

j

j

j

i

i

H

P

S

P

S

P

S

P

бунда

j

Λ

-

нотўғри қабул қилинган кодли сўзлар элементларининг тўплами.

Хатоларни аниқланмаслик эҳтимолини баҳолаш ифодаси қуйидагича:

∑

−

=

Λ

−

−

−

=

1

2

1

)

(

)

1

(

1

)

(

m

i

j

j

m

ост

P

P

S

P

α

.

Маълумотларни пакетли узатиш ишончлилиги кўрсаткичларини, ҳамда

кўп босқичли OSI модели бўғинларида маълумотлар ишончлилигини

баҳолаш учун ахборот узатиш жараёни эҳтимолларини шакллантирувчи

схема ва ўтиш эҳтимоллари диаграммалари таклиф этилган. Маълумотларни

узатиш хатоларини аниқланишини таъминловчи қўшимча ахборотни

минимал миқдорини топиш услубияти ишлаб чиқилган. Маълумот узатувчи

пакетларда қўлланиладиган ва

i

S

ҳабардаги хатони

/
k

S

қабул қилинган белги

маълум бўлганида аниқлашга чамаланган ихтиёрий код усули учун ахборот

миқдори қуйидагича ҳисобланади:

).

(

log

log

)

log(

)

(

)

log(

)

(

)

(

/

/

/

2

1

/

/

/

2

1

/

2

1

1

2

/

S

P

P

Q

Q

m

S

S

S

S

P

m

S

S

S

S

P

m

S

S

J

H

H

i

k

i

k

i

k

i

i

k

i

k

k

i

m

m

m

m

+

+

=

=

+

=

+

=

∑

∑

∑

=

=

=

(1)

Ифода (1) кейинги ўзгартиришларида,

1

0

/

)]

(

1

)[

(

)

(

−

−

=

S

P

S

Q

S

Q

ва

1

0

/

)]

(

1

)[

(

)

(

−

−

=

S

P

S

P

S

P

H

H

ҳисобга олиниб, ушбу кўринишга олиб келинади

)

(

log

)

(

1

)

(

)

(

log

)

(

1

)

(

)]

(

1

log[

)

1

2

log(

)

(

1

)

(

)

1

2

log(

)

(

1

)

(

)]

(

1

log[

)

(

1

)

(

)

(

log

)

(

1

)

(

)]

(

1

log[

)

(

1

)

(

)

(

log

)

(

1

)

(

)

(

0

0

0

0

0

0

0

0

0

0

0

/

S

P

S

P

S

P

S

Q

S

P

S

Q

S

P

S

P

S

P

m

S

P

S

P

S

P

S

P

S

P

S

P

S

P

S

P

S

P

S

P

S

Q

S

Q

S

P

S

Q

m

S

S

J

H

H

m

H

m

H

H

H

H

k

i

−

+

−

+

−

−

−

×

×

−

−

=

−

−

−

−

−

−

×

×

−

+

−

−

−

−

+

=

бунда

)

(

S

P

o

-

хатолик

S

хабарда аниқланиш эҳтимоли

;

)

(

S

Q

-

маълумотни тўғри қабул қилиш эҳтимоли.

Ифодадаги

)

(

/

k

i

S

S

J

қиймати

–

маълумотларда

хатолар

аниқланмаслиги туфайли содир бўладиган йўқотишларни бартараф этиш

учун керак бўладиган минимал қўшимча ахборот миқдори.

14

Ихтиёрий кодли усул самарадорлигини аниқлаш учун ортиқчалик

ҳажми баҳосини соддалаштирилган ифодаси қуйидаги кўринишда олинган:

.

)

1

2

(

log

)

1

(

1

1

)

(

nP

P

S

R

m

i

−

−

−

=

Яратилган услубият бўйича турли табиатдаги информацион

ортиқчалигидан фойдаланишга асосланган ахборот ишончлилигини назорат

қилувчи дастурий услублар самрадорлигини баҳоланиши кўрсатилди.

Диссертациянинг

иккинчи бобида

маълумотларни узатиш пакетлар

таркибида сунъий ортиқчаликдан фойдаланиш тамойиллари бўйича

маълумотлар ишончлилигини назорат қилиш усул, модел ва алгоритмлари

ишлаб чиқилган.

Мавжуд дастурий усулларга хос бўлган камчиликларни бартараф

этувчи, чизиқли, текислик ва модуллар бўйича йиғиндилар ҳосил қилишга

асосланган маълумотлар ишончлилигини назорат қилиш усул, модел ва

алгоритмлари ишлаб чиқилган. Шуни алоҳида таъкидлаш керак-ки,

йиғиндиларни ҳосил қилиш бўйича маълумотлар ишончлилигини назорат

қилувчи алгоритмлар қабул қилинган кетма-кетликларда нафақат хато

борлигини, балки унинг жойлашиш ўрни хатоликларини автоматик тузатиш

учун кўрсатади. Улар қуйидаги қоидаларга асосланган:

1

π

–

маълумотлар

ишончлилиги назорати;

2

π

–

1

Q

хатоларни аниқлаш ва тузатиш;

3

π

–

2

Q

хатоларни аниқлаш ва тузатиш;

4

π

–

3

Q

хатоларни аниқлаш;;

5

π

–

4

Q

хатоларни аниқлаш.

Турли хил алгоритмлар учун маълумотлар ишончлилигини назорат

қилиш самарадорлигини хатоларни аниқланмаслик эҳтимоли мезони бўйича

баҳолаш масалаларининг умумий ва хусусий ечимини олиш услубияти

ишлаб чиқилган.

Чизиқли йиғинди бўйича маълумолар ишончлилигини назорат қилиш

қоидаси учун хатолар аниқланмаслик эҳтимоли йиғиндиси қуйидагича.

}.

10

76

,

5

]

)

1

(

)

1

(

)

1

(

[

67

{

6

3

3

3

4

4

2

2

2

2

4

3

2

1

−

−

−

+

−

+

−

+

⋅

+

−

+

+

−

+

−

=

+

+

+

=

k

n

m

k

n

k

m

n

m

n

m

n

m

H

p

p

C

C

p

p

C

C

p

mnp

P

P

P

P

P

Ишда назорат мураккаблиги ва жорийлаш ҳаражати мезонлари бўйича

алгоритмлар самарадорлигининг графиклари тадқиқ қилинган ва уларда

ишлаб чиқилган усул мавжуд дастурий усулларга нисбатан назорат

мураккаблиги ва жорийлаш ҳаражатларини хатоларни тузатишда 2-3

маротаба камайтириши мумкинлиги кўрсатилган.

Назорат қилувчи алгоритмларнинг

H

P

-

хатолар аниқланмаслик эҳти-

моли

Р-

хатолар эҳтимолидан боғлиқлиги графиклари бўйича маълумотлар-

даги хатолик эҳтимоли

4

3

10

10

−

−

−

бўлганда, хатоларни аниқлаш имконияти

тадқиқ қилинган алгоритмларда икки тартибга, назоратнинг мураккаблиги ва

харажати мезонлари эса хатоларни тузатишда 2-3 маротаба камаяди.

Тадқиқотда

йиғиндиларни разрядлар -

2

П

, рақам -

3

П

, текислик -

6

П

бўйича ҳосил қилишга асосланган алгоритмларнинг ахборот ишончлилиги

кўрсаткичлари энг самарадор эканлиги кўрсатилди.

15

Рақамли ва сонли модуллар бўйича йиғиндиларни 8, 9, 10, 11

базисларда ва ихтиёрий

q

га асосланган алгоритмлар самарадорлиги таҳлил

қилинди. Тадқиқотда, рақамли 8, 10 ва 11 модулли йиғиндиларга асосланган

алгоритмларни қўллашда ахборотларнинг ишончлилик кўрсаткичи энг катта

самарадорликга эга эканлиги кўрсатилди.

Ишлаб чиқилган алгоритмлар барча турдаги хатоларни 92% гача

аниқлаши ва бир-, икки- каррали қўшма транспозицияли хатоларни ҳам

тузата олишлиги исботланди.

Бир каррали хатоларни назорат қилувчи алгоритмнинг биринчи ва

иккинчи турдаги хатолар эҳтимоли аниқловчи формулалар олинган:

Биринчи турдаги:

4

2

2

2

1

10

1

2

10

10

1

2

−

−

−

⋅

−

+

⋅

+

⋅

−

≈

)

P

(

P

P

)

P

(

P

P

i

i

i

i

i

α

α

α

α

α

.

Иккинчи турдаги:

5

5

2

2

10

5

1

1

10

5

1

1

−

−

⋅

⋅

−

+

⋅

⋅

−

≈

.

)

P

(

P

.

)

P

(

P

i

i

i

α

α

α

.

Алгоритмнинг хато аниқланмаслиги эҳтимоллари йиғиндиси:

5

2

2

10

5

1

1

10

1

2

−

−

⋅

⋅

−

+

⋅

−

≈

,

)

P

(

)

P

(

Р

P

i

i

i

Н

α

α

α

.

Хато аниқланмаслик эҳтимоли мезони бўйича масалани ечиш учун

яратилган услубият бўйича барча турдаги хатоларни назорат ва аниқлашга

чамаланган алгоритмлар самарадорлиги ҳам таҳлил қилинди.

Диссертациянинг

учинчи бобида

статистик, таркибий-технологик,

дастурий-вақтли ортиқчаликдан фойдаланиш тамойиллари бўйича

маълумотлар ишончлилигини назорат қилиш усул, модел ва алгоритмларини

ишлаб чиқилган.

Мантиқий, технологик, статистик боғланишлар ва ахборот

хоссаларидан фойдаланувчи алгоритмлар маълумотлар назорати учун қўлай

шароитлар яратиши, ҳамда ишончлиликни юқори даражада таъминлаши

кўрсатилган.

Маълумот ва билимлар базаси (МБ ва ББ), МБни бошқариш тизими

(МББТ) ва эксперт тизими асосида маълумотларни назорат қилиш дастурий-

алгоритмик мажмуасини яратиш тамойиллари шакллантирилган.

Ишда, асосан ахборотларни узатиш ва ихчамлаштириш масалаларини

ечишда қўлланиб келинган статистик ортиқчаликдан маълумотларни узатиш

ишончлилигини таъминлашда фойдаланиш механизмлари ишлаб чиқилган.

Тадқиқ қилинган матн элементлари тасвирларини назорат қилувчи

алгоритмларни қўллашдаги хатолар аниқланмаслик эҳтимоли баҳосини

берувчи умумлашган модел таклиф этилган:

2

2

1

1

W

Р

W

Р

Р

Н

+

=

,

бунда

1

W

,

2

W

–

[0,1] ҳақиқий интервалида бериладиган бир ва иккинчи

турдаги хатоликлар билан боғлиқ бўлган йўқотиш коэффициентлари.

Буни қўллашда назорат қилинадиган матн элементлари икки синфга

бўлинади: ишончли ва бузилган маълумотлар.

16

Биринчи синфга тегишли катта бўлган

1

N

сонли элементлар бўйича

ўрта эҳтимол қуйидагича

(

)

(

)

2

1

1

1

1

1

1

1

1

W

P

p

N

W

P

p

N

x

л

л

−

+

−

=

,

бунда

л

P

–

элемент бошқа синфга тегишли эканлиги эҳтимоли.

Иккинчи синфга тегишли

2

N

элементлар бўйича ўрталаштириш:

(

)(

)

2

1

2

1

1

2

2

1

1

W

P

p

N

W

P

p

N

x

л

л

−

−

+

=

.

Миқдорлашган айирмаларни ҳисоблаш эса:

(

)

(

)(

)

2

1

1

1

2

1

1

1

2

1

1

2

1

W

P

p

W

P

p

N

x

N

x

л

л

−

−

−

−

=

−

.

Ихтиёрий

2

/

1

≠

л

P

учун

1

1

W

p

ва

(

)

2

1

1

W

p

−

йиғинди ва айирмалар

баҳоланади.

1

W

ва

2

W

қийматлари қуйидаги ифодалар бўйича аниқланади:

)

2

1

(

x

x

1

2

1

1

2

2

1

1

Ë

P

p

N

N

N

N

W

−

−

=

;

(

)(

)

ë

P

p

N

N

N

N

x

W

2

1

1

x

1

2

1

1

2

2

1

2

−

−

−

=

.

Ишда Хаффман ва арифметик кодлаш, Барроуз-Вилер ўгириши, ҳамда

Лемпел-Зив алгоритми, улар модификациялари бўйича маълумотни

ихчамлаштириш механизмларга асосланган ахборотни назорат қилиш

алгоритмлари ишлаб чиқилган.

Тадқиқ қилинган усулларда код комбинацияларини рухсат этилган

тўпламининг эҳтимолли қуйи ва юқори чегараларини аниқлаш, ҳамда

назорат қилинадиган маълумот элементларининг энг юқори эҳтимоллик

баҳосини олиш муҳим масаладир.

Бу ҳолат тасвири сифатида қабул қилинган

β

га нисбатан узатилган

α

маълумотларнинг

)

(

α

ϖ

ва

)

/

(

α

β

ϖ

–

нормал қонуният учун шартли эҳтимол

тақсимот функцияларининг графиклари кўрсатилган.

Натижаларнинг амалий тадбиқи узатилган маълумот қийматининг

назорат қилинувчидан четланиш чегараси қанча қисқа бўлса, шунча кўп

биринчи турдаги хатоликларни икки ўлчамли регрессия усули билан

аниқлаш мумкинлигини ёки назорат қилинувчи параметрлар боғлиқлиги

қанча яқин бўлса, уларнинг қийматлари берилганларга шунча яқин

бўлишини кўрсатади.

Маълумотларни назорат қилишда, шартли ҳолатнинг мақбул

чегараларини аниқлаш билан боғлиқ бўлган масалаларнинг умумий ва

хусусий ечимлари олинган ва бунда минимал хатолар аниқланмасликнинг

эҳтимоли қуйидаги ифода бўйича ҳисобланади:

)

)

(

1

)(

1

(

)

(

)

(

)

(

)

(

)

(

2

1

α

α

α

α

α

α

α

α

d

W

P

d

W

B

P

P

P

P

y

x

y

x

H

∫

∫

−

−

+

=

+

=

.

Бу ҳолда, ахборот узатиш ишончлилиги баҳосини олиш учун тақсимот

функциялари

)

(

α

W

ва

)

(

β

W

фарқлари чегараси

)

/

(

α

β

W

шартли эҳтимол

тақсимоти бўйича аниқланади.

Ишда ахборот ишончлилигини назорат қилиш масаласи маълумот

узатувчи пакетдаги тасвир контейнерларида мавжуд бўладиган таркибий
PR-

ортиқчаликни қўллаш бўйича ҳам ечилган.

17

Қуйидаги белгиланишлар киритилди:

(

)

W

V

W

V

E

=

,

–

тасвир

контейнерига таркибий ортиқчаликни киритиш амали;

(

)

'

,

W

V

V

D

W

=

(ёки

( )

'

W

V

D

W

=

) –

талаб қилинганда таркибий ортиқчаликдан қутилиш амали;

α

-

масштабловчи коэффициент;

C

–

икки сигнал ўхшашлигининг бинар

белгиси:

1

=

C

агар ўзаро корреляция коэффициенти қандайдир

δ

чегарадан

юқори; акс ҳолда

0

=

C

.

Таркибий PR-ортиқчалик бўйича ахборот ишончлилигини назорат

қилиш алгоритмлари ишининг қуйидаги вариантлари асосланган.

Биринчи вариантда назорат қилиш алгоритми -

(

)

C

D

E

А

,

,

1

кескин

қайтарилувчи жараён хоссасига асосланади. Бунда, ихтиёрий

W

V

учун

1

−

E

аксланиш мавжуд дейилади ва

( ) (

)

F

F

W

W

V

V

E

,

1

=

−

ва

(

)

W

F

F

V

W

V

E

=

,

шартлар бажарилиши керак, яъни

1

−

E

ҳисобланадиган,

F

W

эса таркибий

ортиқчаликга тегишли, чин тасвирни ёлғонидан ажратиш имконини

берадиган ва

(

)

(

)

1

,

,

,

=

δ

F

F

W

W

V

V

D

C

кўринишдаги функция сифатида

тасаввур қилинади.

Иккинчи вариантда алгоритм

(

)

C

D

E

А

,

,

2

иши суст қайтарилувчи

жараён хоссасига асосланади. Бунда,

(

)

W

F

F

V

W

V

E

=

,

шарти талаб қилинади.

Аммо,

(

)

W

V

W

V

E

=

,

шарти турли хил

W

V

каби ахборот бузилишлари

туфайли бажарилмаслиги мумкин. Қуйилган талаб жараён қайтарилиши учун

суст ҳисобланади ва шу туфайли

(

)

'

,

W

F

F

V

W

V

E

=

кўринишдаги янги талабга

алмаштирилади, бунда

(

)

1

,

,

'

=

δ

W

W

V

V

C

.

Алгоритм

(

)

C

D

E

А

,

,

2

ишида жараён суст қайтарилишининг бошқа

шарти ихтиёрий

W

V

учун

1

−

E

аксланиш мавжудлиги, бунда

( ) (

)

F

F

W

W

V

V

E

,

1

=

−

ва

(

)

'

,

W

F

F

V

W

V

E

=

бўлади. Яъни

1

−

E

ҳисобланиши

мумкин

бўлган,

ва

(

)

1

,

,

'

=

δ

F

W

V

V

C

,

(

)

1

,

,

'

=

δ

W

W

V

V

C

,

(

)

(

)

1

,

,

,

'

=

δ

F

F

W

W

V

V

D

C

шартлар бажарилади.

Таркибий-технологик PR-ортиқчалик, таркиблашган эксперт тизими,

билимлар базаси, мантиқий назорат амаллари ва маълумот таркибларидан

фойдаланиш асосидаги маълумотларни назорат қилиш алгоритмлари ишлаб

чиқилган. Таснифлар, мезонлар ва қабул қилинган ЭҲТ таркибида жорий

этиладиган қарор қоидалари жойларини танлаш тамойиллари таклиф

этилган. Шакллантирилган тамойил ва мезонлар асосида ЭҲТда

маълумотлар ишончлилигини назорат қилиш тизимининг алгоритм ва

дастурий модуллари қурилган.

Маълумотларни PR-ортиқчалик бўйича автоматик равишда назорат

қилиш ва тиклашнинг амаллари ва воситаларини жорийлаштириш учун

дастурий ортиқчаликдан ҳам фойдаланишга йўналтирилган комбинация-

лашган ёндошувлар таклиф этилди. Бундан ташқари, ишда ЭҲТ шароитида

ахборот ишончлилигини назорат қилишнинг ташкилий-тезкор услублари

синфлаштирилган.

18

Ҳар хил таъсирларга турғун бўлган ва реал шароитларда ҳам сифатли

натижага эришишга қодир бўлган, ўн учта вазифавий ва ўн саккизта

тадбиқий дастурий жорий этилувчи модуллардан иборат ахборот

ишончлилигини назорат қилувчи тизим объектга-йўналтирилган дастурлаш

технологиясига асосан яратилган.

Ахборот ишончлилигини назорат қилиш учун диссертациянинг назарий

қисмларида ишлаб чиқилган усул, модел ва алгоритмлар самарадорлигининг

қиёсий таҳлили келтирилган. Олинган натижа Р*

Н

тажрибавий қиймат-

ларининг таҳлилига яқинлиги

ℵ

2

–

Пирсон мезони бўйича, 0,9 кафолатли

эҳтимолда текширилди ва назарий натижаларнинг тажрибавий қийматига

яхши мос келиши исбот қилинди.

Диссертациянинг

тўртинчи бобида

матнни n-граммли таркибий модели,

матн элементларини статистик таниш ва таснифларини таниш моделлари

бўйича матнли маълумотларни узатиш ишончлилигини назорат қилувчи усул

ва алгоритмлари ишлаб чиқилган.

Хатоларни назорат ва таҳрир қилувчи тизимларни яратишда асос

бўлувчи, n-граммли статистик тақсимот қонуниятларини аниқлаш учун

жараён моделлаштирилди ва матннинг бузилган элементларини аниқлаш,

кластерлаш, қидириш, таркиблаштириш, ҳамда частотали таснифларни

олувчи алгоритмлар ишлаб чиқилди.

Талқин қилинган излаш, таниш ва кластерлаш тамойил ва моделлари

бўйича яратилган назорат қилиш тизими катта ҳажмдаги хотирани талаб

қилиниши аниқланди. Бу камчиликларни бартараф этиш учун ва матн

имлосини назорат қилиш масаласини ечишда GPU модели ва CUDA

технологиясига асосланган параллел ҳисоблаш тизимларининг механизмидан

фойдаланиш тавсия килинди.

Талаб қилинган минимал хотира баҳоси қуйидагича ифодаланади

)

1

ln(

)

(

/

1

x

P

nx

x

f

−

−

=

,

бунда

n

–

код узунлиги,

х

–

хеш-функциялар сонини белгиловчи ўзгарувчидир.

Ишда луғатли, статистик ва хеш-кодлаш механизмлари; параллел

ҳисоблаш усул, алгоритм ва амаллари имкониятларини қамровчи ахборот

ишончлилигини назорат қилиш тизимини яратишнинг янги тамойил, модел

ва алгоритмлари таклиф қилинган ва асосланган.

Ахборот ишончлилигини назорат қилувчи дастурий-техник мажмуани

(ДТМ)

яратишда

NVIDIA

видеочипида

параллел

ҳисоблашни

қўлайлаштирувчи дастурий-аппаратли ечим қўлланилган. Параллел

ҳисоблашлар асосида қурилган тизимнинг асосий хусусияти шундан иборат-

ки, унда мантиқий оқимлар сони бажарувчи физик воситалар сонидан кўп

бўлганида ечим берадиган алгоритмлар амалга оширилган.

Парсингли моделлаштириш асосида маълумотлар ишончлилигини

назорат қилиш алгоритмлари самарадорлигини баҳолашда сўзларни

қатордан ажратиш ва таниш эҳтимолидан фойдаланиш таклиф этилган

19

)

(

)

|

(

max

arg

A

P

A

W

P

W

W

=



,

бунда

W

–

матн элементлари

n

w

w

w

W

,...,

,

2

1

=

тўплами кўринишидаги тадқиқ

қилинувчи сўз;

)

/

(

A

W

P

–

A

қаторда сўзнинг

W

кўринишда пайдо бўлиш шартли

эҳтимоли;

)

(

A

P

–

матнда

}

,...,

,

{

2

1

n

a

a

a

A

=

қатор пайдо бўлиши априор эҳтимоли.

Парсингли

моделлаштириш

механизми бўйича имловий хатоларни

назорат қилувчи тизимнинг иши

дарахтсимон модел ва сўзлар кетма-

кетлигини

парсингли

кодлаш

алгоритми асосида ташкил қилинган.

Уч модулдан иборат парсингли

танувчи тизим фаолияти схемаси
1-

расмда

кўрсатилган.

«Сўз

башоратчиси» модули навбатдаги

1

+

k

w

сўзни парсинг-сўзнинг

k

-

префиксга асосан башоратини амалга

оширади ва бошқарувни «Tаггер» модулига узатади. «Taггер» навбатдаги

сўзнинг

1

+

k

t

POS аломатини

k

-

префикси ва охирги

1

+

k

w

башоратланган

сўз бўйича ҳисоблайди ва бошқарувни «Конструктор» модулига узатади.

«Конструктор» мавжуд тузилмани, бошқарув «Сўз башоратчиси» модулига

узатилгунча қайта ўтишни генерациялаш асосида кенгайтиради.

Ишда матн элементлари ишончлилигини назорат қилиш учун

ассоциатив хотирали нейрон тармоғи (НТ) асосида танувчи алгоритм ишлаб

чиқилган. Матн элементи тасвирлари ишончлилигини назорат қилиш учун

сигналларни киритиш жараёни 2-расмда кўрсатилган.

Матн элементларини сўз-шакллар махсус луғати, монограмма,

диграмма, учграмма, k-граммлар асосидаги частотали луғатлар билан

солиштириш бўйича таниш ишончсизлиги эҳтимоли баҳосини берувчи

услубият таклиф қилинган.

2-

расм. Матн элементи сигнали ишончлилигини назорат қилиш

1-

расм. Матнни парсингли таниш

модулларининг ўзаро боғланиши

Муаянлаш -

тириш ойнаси

Нейротармоқли

таниш

Фурье дискрет

ўгирувчиси

Спектр

Маълу -

мотни

киритиш

ойнаси

Назорат

тизими

Тасвир сигналига ишлов бериш

НТни ўргатувчи сигнал

Танувчи натижаси

20

Берилган луғатларнинг жами ҳажми бўйича нотўғри таниш эҳтимоли

қуйидагича аниқланади:

∏

−

=

−

≡

+

−

−

−

−

=

1

1

)))

1

)

(

2

)(

(

))

(

1

((

1

(

))

(

1

(

1

)

(

n

i

i

a

p

a

a

p

a

p

a

p

p

τ

,

3

10

)

(

−

<

a

p

,

бунда

τ

–

тимсолни таниш ишончлигини баҳоловчи махсус луғат ҳажми;

)

(

a

p

–

маълумотларни узатиш ва ишлов беришда матн элементи

сифатида хато эҳтимоли;

)

(

i

a

a

p

≡

–

тўғри таниш эҳтимоли,

n

–

таниш учун бериладиган матн элементлари сони.

Тизимда ишончли матн элементи эталон сифатида қабул қилинади ва

тўғри таниш баҳоси қуйидаги формула билан аниқланади:

∏

−

=

∈

<

≡

−

−

=

1

1

,

))

(

(

))

(

1

(

1

)

(

n

i

i

j

A

a

a

i

j

a

a

p

a

p

p

j

i

τ

,

бунда

)

(

i

j

a

a

p

≡

–

назорат қилиш тизимининг ишончлилик эҳтимоли.

Ўзбек тили метаматнига ишлов берувчи тизим умумий алгоритмини

яратиш учун ихтиёрий тармоқланиш сонидаги дарахтни берувчи синфлар

иерархиясини аниқлаш схемаси таклиф қилинган ва шу асосда назорат

қилинувчи объектлар синфлаштирилиши амалга оширилган. Жорий этилган

тизимда датслабки маълумотлар ББда сақланади ва ЭҲТдан фойдаланиш

жараёнида йиғилган янги билимлар бўйича қайта аниқланади. ББ муҳитида

реал модел шаклланади ва сервер билан алоқа мижоз сўровлари тизими

бўйича амалга оширилади.

Ишлаб чиқилган тизим қуйидаги функционал қисмлардан иборат:

МБда объект ҳақида реал ва эталон маълумотларни сақловчи, маълумотларни

солиштириш ва натижаларни сақловчи, объектнинг концептуал, инфологик

ва физик моделлари; экспертлар билимларини, далиллар боғликлиги бўйича

баҳоларни берувчи, боғланишни жадваллар бўйича ифодаловчи статик ББ;

эталон динамик жараёнлар параметрларини қисман ва тўла ноаниқлигини

ҳисобга олувчи кўринишидаги НТ моделларини ифодаловчи динамик ББ;

моделнинг функционал таркибида воқеликларнинг сабаб-оқибатлар кетма-

кетлигини шакллантирувчи алгоритмига асосланган мантиқий хулосалаш

модули; юзага келган ҳолатга боғлиқ равишда МБ ва ББ иш фаолиятини

мантиқий ҳулосалаш жараёнида мувофиқлаштирувчи мослаштириш модули;

мантиқий хулосалаш жараёнини изоҳлаш амалларини бажарувчи

тушинтириш модули; масала ечимини режалаштириш жараёнини

мувофиқлаштирувчи бошқариш модули; тўғри, тескари ва аралаш масала

қуйилишида самарали ечимни берувчи механизмлар.

Диссертациянинг

бешинчи бобида

ўзбек тили матнлари имлосини

назорат ва таҳрир қилишга бўлган асосий ёндошувлари тадқиқ қилинган,

ҳамда кўп босқичли морфологик таҳлил ва таркибий n-граммалардан

фойдаланиш асосида имлони назорат ва таҳрир қилувчи модел, усул,

алгоритмлари ишлаб чиқилган.

21

Адабиётлар таҳлили натижалари бўйича морфологик таҳлил асосида

қурилган тизимларга хос кенг тарқалган қуйидаги усулларнинг тамойил,

хусусиятлар ва камчиликлари аниқланди: матнни сўзларга ажратиш,

луғатларга солиштириш, сўзлар негизини тақрибий аниқлаш, матннинг луғат

билан «уйқашиши» ва сўзларни нормаллаштириш.

Юқори самарали ҳисобланган тизимлар сўз-шаклларини икки босқичли

моделлар асосида амалга оширилиши аниқланди, бу тамойил ўзбек тили

имлосини назорат ва таҳрир қилувчи тизимни яратишда таянч механизми

сифатида қабул қилинишга тавсия этилди.

Демак, икки босқичли модел ва сўз-шаклларини таҳлил қилиш

усуллари ва тамойиллари морфологик таҳлилни кўп босиқчли модел асосида

жорий этиш имкониятларини яратади ва ўзбек тили матнларидаги хатоларни

назорат қилиш тизимини қуришда катта назарий ва амалий аҳамиятга эга.

Ишлаб чиқилган кўп босқичли график схемаси ўзбек тили сўз-

шаклларини қуришнинг ва аффиксларни негизга ва бошқа турдаги қисмларга

қўшиш кетма-кетлигини акслантиради.

Ўзбек тили сўз шаклларини ҳамда уларнинг фонетик ўзгаришларнинг

формал тавсифлаш ва таҳлили услубияти ва алгоритмлари яратилган. Кўп

босқичли жадвал сифатида ўзбек тили аффиксларининг боғланишларини

кўрсатувчи, сўзни оҳиридан кўриб чиқишни бажарувчи, аффиксларни

босқичлар бўйича рекурсив равишда ажратувчи услубиятлар ва имлони

ишончли назорат қилувчи амаллар ишлаб чиқилган. Яратилган назарий

ҳолатлар бўйича имлони назорат ва таҳрир қилиш тизимнинг алгоритмлари

ва тузилмаси ишлаб чиқилган.

Ахборот таркибида n-граммли хатолар пайдо бўлиши модели асосида

эса, уларнинг эҳтимолли баҳоларни олиш услубияти яратилган.

Хатоларнинг ўртача эҳтимоли хатолар шартли эҳтимолларини

маълумотлар ансамбли бўйича ўрталаштириш асосида аниқланади, яъни:

∑

∑

≠

=

)

(

j

i

j

j

i

i

i

P

P

P

α

α

α

α

α

α

α

,

бунда

i

i

P

α

α

-

i

α

маълумотни тўғри қабул қилиш эҳтимоли.

Маълумотлар таркибидаги n-граммли хатолар эҳтимолларини аниқлаш

катта ҳажмдаги маълумотларга ишлов беришни талаб қилади ва мураккаб

ҳисоблаш билан боғликлиги туфайли, n-граммли хатолар эҳтимолини

ҳисоблаш учун статистикага ишлов беришни махсус моделлаштириш ва

автоматлаштириш бўйича амалга оширилди.

Таклиф қилинган услубият бўйича

)

(

α

p

n-

граммли

n

α

α

α



1

=

кетма-

кетлигидан иборат хато эҳтимоли умуман учрайдиган

n

-

граммалар сонини

ҳар бир хатоликлар эҳтимоллари йиғиндисига бўлиниши билан аниқланади:

*)

(

)

(

*

)

(

∑

=

α

α

α

α

C

C

p

,

бунда

*

α

–

α

дан фарқли «кетма-кетликлар бош тўплами»га тегишли

n

-

граммли нусха.

22

Қаторда

*

j

α

каби содир бўладиган хатоликларнинг тўла эҳтимоллиги

)

j

i

|

(

p

*
i

i

*

j

i

≠

∀

=

=

α

α

α

α

шартли эҳтимоллари бўйича аниқланади

)

(

)

|

(

)

(

*

*

*

*

*

1

j

i

p

j

i

p

p

j

i

i

i

j

i

n

≠

∀

=

≠

∀

=

=

=

α

α

α

α

α

α

α

α



.

Бунинг учун, қаторда содир бўлган белги сифатидаги хатоликларнинг

шартли эҳтимоллари олдинги белгиларни ҳисобга олиш бўйича қуйидаги

қоидага асосан ҳисобланади:

)

(

p

)

...

|

(

p

)

...

(

p

n

k

k

k

n

1

2

1

1

1

α

α

α

α

α

α













=

∏

=

−

.

Марков занжири (

n

–1)

тартибида хатоликларнинг соддалаштирилган

n

-

граммли модели олинди, бу эса, ўз навбатида, барча n-граммларнинг

статистик параметрларини баҳолаш имкониятини берди.

Фреймворк Сфинкс-4 технологияси муҳитида имлони назорат қилиш

тизимнинг такомиллаштирилган варианти ишлаб чиқилди. Бу, махсус

масалалар ечимига чамаланган хусусий компонентларни қўллаш ва ихтиёрий
n-

граммани ҳосил қилувчи контекстга мослаштирувчи тизимнинг модулли

тузилмани яратиш имкониятини берди. Тизимнинг қобиғи ва унинг

фаолиятида барча компонента, ҳамда фреймворк дастурий модулларини

қўлловчи тизим ядросини тавсифлаш усуллари ишлаб чиқилди.

Фреймворк Сфинкс-4 асосида ишлаб чиқилган ва Интерфейс, Декодер,

Лингвист сифатида номланган асосий, ҳамда Конфигурация ва Утилитлар

номидаги қўшимча блоклардан иборат тизим архитектураси 3-расмда

берилган.

Схемада блоклар орасидаги ва блокларнинг иловалар билан бўлган

алоқалари ҳам тасвирланган. Ишда тизимнинг асосий ва қўшимча

Интерфейс, Декодер ва Лингвист блокларининг фреймворк Сфинкс-4

муҳитидаги вазифалари келтирилган.

ИЛОВА

Утилитлар

Натижа

Назорат

Кириш

Бахоловчи

Ажратувчи

Қидирув графи

Таснифлар

Рўйхат

Интерфейс

Лингвист

Парсингмодел

Луғат

Лингвомодел

Конфигуратор

Декодер

Ахтарувчи

3-

расм. Сфинкс-4 асосида имлони назорат қилиш тизим

архитектураси

23

Интерфейс блоки вазифаси бир ёки ундан кўп матн элементларини

(белги, ҳарф, сўз) тизимга киритиш учун қабул қилиш ва уларни аломатлар

кетма-кетлиги сифатида параметрлашдан иборат.

Лингвист вазифаси стандарт тил моделини n-граммли таркибдан

парсинглаштиришга ўгириш, Қидирув графини тузиш ва унда бир Парсинг-

модел ҳамда ундан кўп бўлган тўпламни шакллантиришдан иборат.

Декодер таркибидаги Қидирув модули, Интерфейс ҳамда Лингвист

томонидан генерацияланган Қидирувчи-графлардан олинган аломатларни

натижаларни дешифрлаш ва генерация қилиш учун ишлатади.

Ўтказилган тест тажрибалари натижалари, таклиф қилинган вариантда

яратилган тизим сўзни танишда нисбий хато кўрсаткичи яхшиланишини, ва

тизим иши тезлиги реал вақтда морфологик таҳлил асосида имлони назорат

қилувчи тизимга нисбатан икки марта оширилишини кўрсатди. Тизим иши

икки процессорли режимда CPU 1015MHZ ULTRASPARC RIII WITH 2G

RAM процессорларда ташкил қилинганини таъкидлаймиз. Сфинкс-4

қобиғига кирувчи модуллардан шу асосда, ҳамда мослашувчан алгоритмлар

ва тилнинг статистик моделларидан фойдаланишлик туфайли, кенг тартибда

қўлланиладиган матн таҳлили, матнни нутқга ва нутқни матнга

генерациялаш ва бошқа матнли маълумотларга ишлов бериш каби

масалаларни ечиш имконияти яратилади.

Маълумотлар ишончлилигини n-граммли модел асосида назорат қилиш

тизими ишлов бериладиган оқимларнинг мақбул тартибини ва юкланишини

ташкил қилиш учун маълумотларга статистик ишлов бериш усулларидан

фойдаланади, n-граммали грамматика ва дарахтсимон моделни қўллайди ва

натижада ишлов бериладиган файллар ўлчамлари форматлар таркибидаги

ортиқчаликларни йўқотиш бўйича қисқартириш имконини беради.

Ишда

ортиқчаликни

ихчамлаштириш

мақсадида

грамматика

элементлари билан амаллар манипуляциясининг схемаси дарахтсимон

тасвирда кўрсатилган.

Грамматиканинг n-граммасини тавсифлаш, турли тилдаги дастурлашни

қувватлаш ва ахборотларга тармоқли ишлов бериш учун махсус формат

қурилди ва бу муҳитда n-граммали моделлар тавсифи XML грамматикасида

амалга оширилди.

Диссертациянинг

олтинчи бобида

ахборот ишончлилигини назорат

қилиш тизими учун синфлар, усул ва дастурий модулларни PR-ортиқча-

ликдан фойдаланиш асосида ишлаб чиқиш ва уларни маълумотларга

тармоқли ишлов бериш тизимларининг ахборот узатувчи пакетлар

таркибида, ҳамда ЭҲТда жорий этиш бўйича маълумотлар келтирилган.

Электрон хужжат айланиш тизимининг иш юритиш элементларини

яратиш, сақлаш ва узатиш вазифаларини амалга оширадиган дастурий-

инструментал воситалар (ДИВ) мажмуаси 1С 8.2 интеграллашган муҳитда

ишлаб чиқилган. Таъкидланган асосда, ишлаб чиқилган тизимни жорий этиш

ҳусусияти маълумотни тайёрлаш, киритишда, трансформациялаш туфайли

содир бўладиган маълумотлардаги хатоларни назорат қилувчи дастурий

мажмуа тарзидаги амалга оширилган CONTROL қисмни ўз таркибига

24

олганлигидан иборат.

Ишлаб чиқилган дастурий мажмуа ахборот тизимининг вазифавий

масалаларини ечишга чамаланган қисмлари таркибига киради ва талаб

қилинганда, дастурий маҳсулотлар сифатида берилади.

Ишлаб чиқилган мажмуани матнли маълумотларга ишлов берувчи

ихтиёрий компьютер тизимларини сервисли қўлловчи алоҳида қисм

сифатида ишлатиш мумкин, ЭҲТ вазифавий қисмлари таркибига киради, OSI

моделининг Тадбиқий ва Тақдимот босқичларида содир бўладиган хатоларни

замонавий телекоммуникация тизимларида узатиладиган протоколлар

таркибида назорат қилишда қўлланилади.

Тадқиқ қилинган ЭҲТда объектли-йўналтирилган дастурлаш усуллари,

МБ ва ББдан самарали фойдаланиш имконини берадиган қайд қилинувчи

карточкалар реквизитлари бўйича ҳужжатларни кенг кўламда қидириш;

ходимлар

лавозимлари,

стандарт

ибора

ва

сўз

алмашуви

маълумотномаларини юритиш; маълумотномани узвий таҳрирлаш;

ҳужжатлар, қайд қилиш картотекаси, шахсий ишлар, мавзу рубрикалари ва

бошқа мезонлар бўйича бажарувчи амалларни тизимга бириктиришда

ходимларга рухсат бериш ҳуқуқини мавқелаштириш вазифаларини амалга

оширувчи назорат қилиш объектлари ажрати қаралган.

CUDA NVIDIA

технологияси асосида, Сфинкс-4 муҳитида имловий

хатоларни назорат қилиш ва таҳрирлаш дастурий тизимнинг қобиғи ишлаб

чиқилган. Бунга қуйидаги функцияларни жорий этишга қаратилган модуллар

киради: модул Ф1 – сўзни киритади ва уни виртуал жадвалдан ўтказади;

модул Ф2 – луғатда бинарли излаш услубини жорийлаштиради; модул Ф3 –

луғатни сақлаш ва юклаш учун массивни шакллантиради; модул Ф4 – тезкор

саралашни жорий этади;

модул Ф5 – объектлар алмашишини амалга

оширади; модул Ф6 – сўзлар чегарасини текширади; модул Ф7 – юкланган

луғатда бинарли излашни амалга оширади; модул Ф8 – орфографик

хатоларни назорат қилади; Ф9-Ф15 модуллари – орфорграфияни назорат

қилиш муҳитида матнни транслитерациялашни амалга оширади; Ф16-Ф20

модуллари – киритилган матнни парсинглаш услубини жорий этади ва

парсингли моделлаштиришни амалга оширади; модул Ф21 – истеъмолчига

ҳужжатлар билан ишлаш ва турли шрифт хоссаларини таҳрир қилиш,

қўшиш, матнни таҳрир қилиш ва бекор қилиш, ҳамда файл сифатида

хотирага олиш имкониятларини беради; модуль Ф22 – матнли процессор

бўйича таҳрирловчи ва ўзбек тилидаги матнни форматлайдиган MDI

иловаси; модул Ф23 – иловалар ёпилганда, барча ҳужжатларнинг тўғри

ёпилишини таъминлайди.

Орфографик хатоларни таҳрир қилиш вазифасини Хаффман

мослашувчан кодери бўйича амалга оширувчи модуллар жорий этилган. Шу

қаторда, қайтарилувчи тикланиш тамойилларини қўллашда Зив-Лемпел

қоидаси бўйича кодлаш ва ихчамлаштириш модел ва алгоритмлари амалга

оширилган. Лемпел-Зив-Велч статистик кодлашнинг тамойили ва қоидаси

бўйича матн қаторларини сақлайдиган ва тартиблашган катакларга эга

луғатни қўллашга асосланган такомиллаштирилган модул жорий этилган.

25

Арифметик кодлаштиришнинг оддий, ярим мослашувчан ва мослашувчан

моделлари асосида ахборот таркибидаги имловий хатоларни назорат қилувчи

дастурий модул яратилган.

Ўзбек тили матнлари имлосини назорат қилувчи тизимнинг асосий

синфлари, фаолиятини ташкил қилиш услублари ва умумий таркиби

аниқланди. Тизим таркиблари бўйича дастурий маҳсулотларни қайд қилиш

гувоҳномалари олинган. Ўзбек «spell-checker»и имлони икки кўринишдаги

алфавитда назорат қилишга қодир ва талаб бўйича бир алфавит туридан

бошқасига алмаштиради.

Матнли маълумотлар ишончлилигини назорат қилиш тизими ва ишлаб

чиқилган алгоритмлари тажрибавий текширувдан ўтказилди ва натижалари

СамДУда масофадан ўқитиш тизими ва «Лаззат-Мева» ЭҲТ маълумотлари

бўйича таҳлил қилинди. Тадқиқот натижалари, амалиётга жуда яқин бўлган,

қуйидаги шароитларда олинди: киритиладиган маълумотлар ҳажми

6

10

белги

(300

электрон матнли саҳифа); хатоликлар эҳтимоли қиймати -

3

10

7

,

3

−

⋅

=

Р

;

ҳужжатдаги сўз узунлиги ўртача 8 ўнли белгига тенг; PR-ортиқчаликларни

қўллашга асосланган алгоритмлар бўйича ҳужжатлардаги сўзлар ҳимоя

қилинган; электрон воситалар узилиш ва носозликлари билан боғлиқ хатолар

ҳисоблашда инобатга олинмайди.

Жадвалда турли мезонлар бўйича ахборот ишончлилигини назорат

қилувчи алгоритмлар самарадорлигининг қиёсий таҳлили келтирилган.

Жадвал 6,7 устунларида хато аниқланмаслиги эҳтимоли пасайиши

коэффициенти (ахборот ишончлилигини таъминловчи ютуқ), яъни

H

H

P

P

K

/

=

–

назарий ва

*

*

/

H

H

P

P

K

=

–

тажрибавий қийматлари келтирилган.

Жадвал 8,9 устунларида назорат мураккаблиги –

ПА

Р

ТПА

Т

Т

К

/

=

,

А

Р

ТА

Т

Т

К

/

=

, ҳамда 10, 11 устунларда жорий этиш харажатлари -

ПА

Р

СПА

С

С

К

/

=

,

А

Р

СА

С

С

К

/

=

коэффициент қийматлари келтирилган.

Маълумотларга ишлов бериш объектлари хусусиятига асосан тизимни

жорий қилиш шароитлари: маълумотни клавиатурали киритиш мураккаблиги
–

400 соат, киритиш харажати – 60 минг сўм, хатони визуал назорат қилиш

мураккаблиги – 350 соат, хатони визуал назорат қилиш харажатлари – 45

минг сўм, сканерлаш ва таниш мураккаблиги – 150 соат, харажати – 25 минг

сўм миқдорида қабул қилинган.

Чизиқли йиғиндиларга асосланган алгоритмни қўллашда минимал хато

аниқланмаслик эҳтимоли –

5

10

3

−

⋅

≈

H

P

; назорат мураккаблиги – 0,5 с.;

назорат харажати – 1 минг сўмга баробар.

Текислик бўйича йиғиндига асосланган алгоритм минимал хато

аниқланмаслик эҳтимолини –

6

10

4

−

⋅

≈

H

P

; назорат мураккаблигини – 1,2 с.;

назорат харажатини – 1,5-2 минг сўм бўлишини таъминлайди.

Модулли йиғиндига асосланган алгоритм минимал хато аниқланмаслик

эҳтимолини –

5

10

6

−

⋅

≈

H

P

; назорат мураккаблигини – 0,8 с.; назорат

харажатини – 1,2 минг сўм бўлишини таъминлайди.

26

Жадвал

Ахборот ишончлилигини назорат қилиш алгоритмларининг самарадорлиги таҳлили

№

Хатоларни назорат қилиш,

аниқлаш ва тузатиш алгоритмлари

Самарадорлик мезонларининг қийматлари

Эҳтимоллик

Н

Р

Коэффициент

H

H

P

P

K

/

=

.

Назорат

мураккаблиги -

Т

К

,

Назорат харажати

–

С

К

,

Назарий -

Н

Р

Тажриб.

*

Н

Р

Назарий

Н

К

Тажриб.

*

Н

К

ТПА

К

ТА

К

СПА

К

СА

К

Сунъий ортиқчаликдан фойдаланиш

1

Чизиқли йиғиндилар бўйича

10

-5

2·10

-5

100

200

1,8

1,7

2

2

2

Модулли йиғиндилар бўйича

10

-5

-10

-6

5·10

-6

1000

5000

2

2

2

2

Табиий ортиқчаликдан фойдаланиш

3 n-

граммли моделлари бўйича

10

-5

-10

-6

4·10

-6

1000

4000

2

2

3

3

4

Морфологик модел бўйича

10

-6

2·10

-6

1000

2000

3

3

3

3

Таркибий-технологик ортиқчаликдан фойдаланиш

5

Эксперт тизимари ва билимлар

базаси асосида назорат қилиш

алгоритмлари

10

-5

-10

-6

1.5·10

-6

1000

1500

1,8

1,7

2

2

6

Мантиқий назорат мезонлари

асосидаги алгоритмлар

10

-5

2·10

-5

100

200

2

2

2

2

Статистик ортиқчаликдан фойдаланиш

7

Лемпел-Зив-Велч усули ва

Барроуз-Вилер ўгириши

асосидаги алгоритмлар

2·10

-5

-10

-6

6·10

-6

2000

6000

3

3

3

3

8

Арифметик кодлаш асосидаги

алгоритмлар

3·10

-6

-10

-7

10

-7

3000

10000

3

3

3

3

2

6

27

Ишлаб чиқилган усуллар мавжуд усулларга нисбатан назорат

мураккаблиги ва харажатини 2-3 маротаба камайтириши аниқланди. Ахборот

тизими ишида визуал назорат мураккаблиги ва харажатлари тизимнинг ярим

автоматлаштирилган ва тўла автоматлаштирилган шароитидаги мураккаблик

ва харажатлари нисбатлари олинди ва қабул қилинган мезон

коэффициентларининг 2-3 маротаба пасайишини кўрсатди. Тажрибавий -

*

Н

Р

нинг қиймати унинг назарий қиймати билан

2

ℵ

–

Пирсон мезонининг 0,9

кафолатли эҳтимолида текширилди.

Иш ҳужжатларини автоматлаштириш компьютер тизими кўринишидаги

ЭҲТ ва маълумотларни адаптив узатиш, ишлов бериш ва таҳлил қилиш

ахборот-коммуникация тармоқларида яратилган усул, алгоритм ва дастурий

воситаларни жорий этишнинг иқтисодий самарадорлигини ҳисоблаш

услубияти ишлаб чиқилди. Ахборот коммуникация тармоқларида
«

УзТелеком» Самарқанд филиали, ҳамда «Лаззат-Мева» қўшма

корхонасининг маълумотларни адаптив узатиш, ишлов бериш ва таҳлил

қилиш компьютер тизимларининг иқтисодий самарадорлиги ҳар ойлик

маълумотларга ишлов бериш ҳисоби бўйича 5,1 млн сўмни ташкил қилди.

ХУЛОСА

1. Диссертацияда тизимли таҳлил, бошқарув ва маълумотларга ишлов

бериш концепцияси асосида PR-ортиқчаликни қўллаш тамойиллари бўйича

ишлаб чиқилган ахборот ишончлилигини таъминловчи конструктив усул,

модел ва дастурий-алгоритмик мажумалари электрон ҳужжат айланиши

тизимлари самарадорлиги ва унумдорлигини оширишни таъминлайди.

2. Ахборот ишончлилигини назорат қилишда кодли, аппаратурали ва

дастурий усуллари назария ва амалиётининг ҳозирги ҳолатини баҳолаш

натижалари ЭҲТ сифатли фаолиятини таъминлаш учун мавжуд ортиқчалик

турларидан фойдаланиш етарли эмаслигини кўрсатиб берди. Ахборотни

узатиш ишончлилигини таъминловчи амалий усул ва дастурий-алгоритмик

мажмуаларини ишлаб чиқишда электрон ҳужжатлардаги PR-ортиқчаликдан

фойдаланиш тамойиллари қўлланаётган технологияларни ривожлантириш

воситаларини лойиҳалаш имконини яратади.

3. Чизиқли, текислик ва модуллар бўйича йиғинди ҳосил қилувчи,

Хаффман, Лемпел-Зив-Велч, Барроуз-Вилер қоидалари бўйича ва арифметик

кодлаш, статистик таниш, мантиқий назорат усуллари электрон ҳужжатлари

матнларини тузиш, узатиш ва уларга ишлов беришда маълумотлар

ишончлилигини таъминлашнинг алгоритм ва дастурий мажмуалари

имкониятларини ошириш учун PR-ортиқчаликдан фойдаланишнинг услубий

асосларини ташкил қилади.

4. Ишлаб чиқилган алгоритмлар самарадорлиги намойиши бўйича улар

92% хатоларни аниқлайди ва бир, икки каррали ва қўшма транспозицияли

хатоларни тузатишга қодир; бундан ташқари, мавжуд услубларга нисбатан

назорат мураккаблиги ва жорий этиш ҳаражатларини

3

10

4

−

⋅

≈

H

P

шароитида

2-

3 маротаба камайтиради; маълумотлар ишончлилигини эса, уч

28

бароваригача оширади. Ишда самарадорлик баҳолари ва маълумот

ишончлилигини назорат қилиш масалаларининг аналитик ечимларини хато

аниқланмаслиги эҳтимоли мезони бўйича олишга эришилади.

5. Морфологик ва n-граммли таркиблашган моделлар асосида матнли

ахборотни узатишда имло хатоларини назорат ва таҳрир қилувчи усул,

алгоритм ва тизимлар ишлаб чиқилган. Хатоликларнинг эҳтимолли

кўрсаткичлари статистикаси асосида ишлаб чиқилган n-граммаларнинг

частотали таснифларни олиш услубияти хеш-кодларни парсингли кодлаш

учун тизимлаштиришда қўлланилади.

6.

Статистик танишда мантиқий ва арифметик функцияларни қурувчи

интерполяция ва экстраполяция усуллари матн элементлари тасвирларини

назорат қилиш алгоритмларини ишлаб чиқишда қўлланилган. Автоматик

таниш ва тасвир сигналларни назорат қилиш қисмларидан ташкил топган

маълумотларга нейротармоқли ишлов берувчи тизимида матн элементи

тасвирларининг сигнал таснифлари ишончлилигини назорат қилиш усуллари

таклиф этилган. Усул ва алгоритмлар нотиниқ семантик гипертармоқ бўйича

ЭҲТ метаматн объектларини синфлаштириш ва таснифлар тегишлилигини

аниқлаш асосида билан ахборот ишончлилигини назорат қилиш тизими

таркибида жорий этилади.

7

. Луғат, статистик ва хеш-кодлаш усулларига асослаган маълумотлар

ишончлилигини назорат қилиш модел ва алгоритмлари ишлаб чиқилган ва

улар параллел ҳисоблаш NVIDIA дастурий-аппарат муҳитида сонли таҳлил

стандарт кутубхоналари ҳамда CPU ва GPU орасида мақбул маълумотлар

алмашувини берувчи воситаларни қўллаш самарадорлигини таъминлайди.

8

. Фреймворк Сфинкс-4 муҳитида n-граммли грамматика тавсифини

берувчи дарахтсимон модел бўйича имлони назорат қилиш тизим қобиғининг

тавсифланиши идентификацияланган ва архитектураси ишлаб чиқилган

ҳамда PR-ортиқчаликдан фойдаланадиган турли тил моделлари учун тизим

дастурий модуллари жорий этилган. Тизимнинг яратилган варианти

морфологик таҳлилга асосланган имлони назорат қилувчи тизимга нисбатан

аниқланмаган хатолар сонини, жорий этиш ҳаражатларини ҳамда назорат

мураккаблигини икки маротаба камайтиришга эришилади.

9

. Ишлаб чиқилган моделлаштирувчи алгоритмлар, дастурий воситалар

мажмуалари ва маълумотлар ишончлилигини PR-ортиқчалик асосида назорат

қилувчи тизимлар ОЎЮнинг автоматлаштирилган ўқув жараёнида, ахборот-

коммуникация тармоқларида маълумотларни адаптив узатиш, ишлов бериш

ва таҳлил қилишда, шунингдек корхоналар ЭҲТ амалиётида қўлланилади.

10

. Ишлаб чиқилган электрон ҳужжат айланиш тузилмасида

маълумотлар ишончлилигини назорат қилиши дастурий мажмуалари ҳамда

ахборот-коммуникация тармоқларида маълумотларни узатиш, қайта ишлаш

ва таҳлил килиш тизимлари Алоқа, ахборотлаштириш ва телекоммуникация

технологиялари Давлат Қўмитасининг «УзТелеком» Самарқанд филилали ва

«Лаззат-Мева» қўшма корхонасида татбиқ этилган, диссертация натижалари

бўйича олинган далолатномалар иқтисодий самарадорликни тасдиқлайди.

29

НАУЧНЫЙ СОВЕТ 16.07.2013.Т/FM.29.01 при ТАШКЕНТСКОМ

УНИВЕРСИТЕТЕ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ и

НАЦИОНАЛЬНОМ УНИВЕРСИТЕТЕ УЗБЕКИСТАНА ПО

ПРИСУЖДЕНИЮ УЧЕНОЙ СТЕПЕНИ ДОКТОРА НАУК

______________________________________________________________

ГОСУДАРСТВЕННЫЙ КОМИТЕТ СВЯЗИ, ИНФОРМАТИЗАЦИИ И

ТЕЛЕКОММУНИКАЦИОННЫХ ТЕХНОЛОГИЙ

РЕСПУБЛИКИ УЗБЕКИСТАН

ТАШКЕНТСКИЙ УНИВЕРСИТЕТ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ

АХАТОВ АКМАЛ РУСТАМОВИЧ

МЕТОДЫ И ПРОГРАММНО-АЛГОРИТМИЧЕСКИЕ КОМПЛЕКСЫ

ОБЕСПЕЧЕНИЯ ДОСТОВЕРНОСТИ ИНФОРМАЦИИ В СИСТЕМАХ

ЭЛЕКТРОННОГО ДОКУМЕНТООБОРОТА НА ОСНОВЕ PR-

ИЗБЫТОЧНОСТИ

05.13.01 –

Системный анализ, управление и обработка информации

(

технические науки)

АВТОРЕФЕРАТ ДОКТОРСКОЙ ДИССЕРТАЦИИ

Ташкент – 2014

30

Тема докторской диссертации зарегистрирована за № 20.02.2014/В2013.1.Т1 в

Высшей аттестационной комиссии при Кабинете Министров Республики

Узбекистан.

Докторская диссертация выполнена в Самаркандском государственном университете.

Полный текст докторской диссертации размещен на веб-странице Научного совета по

присуждению учёной степени доктора наук

16.07.2

013.Т/FM.29.01 при Ташкентском

университете информационных технологий и Национальном университете Узбекистана по адресу
www.tuit.uz.

Автореферат диссертации на трех языках (узбекский, русский, английский) размещен на

веб-странице по адресу www.tuit.uz и Информационно-образовательном портале “ZIYONET” по

адресу www.ziyonet.uz

Научный

консультант:

Жуманов Исраил Ибрагимович

доктор технических наук, профессор

Официальные

оппоненты:

Набиев Озод Маликович

доктор технических наук, профессор

Нишанов Акрам Хасанович

доктор технических наук, профессор

Зайнидинов Хакимжон Насридинович

доктор технических наук, профессор

Ведущая

организация:

Ташкентский государственный технический

университет

Защита диссертации состоится «28» июня 2014 г. в 10

00

часов на заседании

научного совета 16.07.2013.Т/FM.29.01 при Ташкентском университете информационных

технологий и Национальном университете Узбекистана. (Адрес: 100202, Ташкент, ул.

Амира Темура, 108. Тел.: (99871) 238-64-43; факс: (99871) 238-65-52; e-mail:

tuit@tuit.uz).

С докторской диссертацией можно ознакомиться в Информационно-ресурсном центре

Ташкентского университета информационных технологий (регистрационный номер 01). Адрес:

100202, Ташкент, ул. Амира Темура, 108. Тел.: (99871) 238-65-44.

Автореферат диссертации разослан « » мая 2014 года.

(протокол рассылки № 1 от « » мая 2014 г.).

Х.К.Арипов

Председатель научного совета по присуждению

учёной степени доктора наук д.т.н., профессор

М.С.Якубов

Ученый секретарь научного совета по

присуждению учёной степени доктора наук

д.т.н., профессор

Т.Ф.Бекмуратов

Председатель научного семинара при Научном

совете по присуждению учёной степени доктора

наук д.т.н., академик

31

АННОТАЦИЯ ДОКТОРСКОЙ ДИССЕРТАЦИИ

Актуальность и востребованность темы диссертации.

В

мировой

практике информатизации, системы электронного документооборота (СЭД) в

последние годы рассматриваются и внедряются не только как системы

автоматизации процессов управления, но и как полноценные платформы для

создания единого информационного пространства, что, безусловно, расши-

ряет границы их использования и повышает к ним интерес со стороны

научного сообщества. В исследованиях ведущих ученых сферы инфоком-

муникацонных технологий выделяется востребованность задач достоверного

сбора, передачи, анализа, кодирования информации при формировании

документов делопроизводства для получения эффективных технологий,

повышающих мобильность и производительность СЭД.

Комплексные меры, предпринимаемые Правительством Республики

Узбекистан по развитию систем регионально-территориального автоматизи-

рованного управления и созданию единого информационного пространства,

направлены на широкое внедрение информационных систем, СЭД, баз

данных (БД) на основе современных информационно-коммуникационных

технологий. В связи с этим, разработка новых методов интеллектуальной

обработки информационных ресурсов, используемых для повышения

качества передачи информации, позволяющих эффективно обнаруживать и

исправлять ошибки в структуре электронного документооборота с наимень-

шими материальными и временными затратами, отличается особой

актуальностью и, вместе с тем, остается нерешенной теоретической и прик-

ладной проблемой, имеющей важное народно-хозяйственное значение.

Требования, предъявляемые к информационным ресурсам и потокам

передачи данных, как важного фактора эффективности и качества

функционирования СЭД выражаются в обеспечении стабильности, целост-

ности, сохранности и достоверности информации. Одним из важных среди

факторов является критерий достоверности информации, обусловлива-

ющийся искажением передаваемых сообщений в инфокоммуникационных

сетях из-за сбоев и отказов технических средств, различного рода помех в

каналах связи, ошибок операторов и систем сканирования, а также

распознавания.

Следовательно, особый научный интерес представляет построение

эффективных систем контроля достоверности передачи и обработки

информации, как приоритетной технологии обработки данных, характерной

для

условий

автоматизированного

управления

и

электронного

документооборота на предприятиях и в организациях.

Для существующих методов, несмотря на обеспечение высокого уровня

достоверности передачи информации, характерен ряд нерешенных вопросов,

в качестве основных из которых можно выделить следующие: при разработке

технологий электронного документооборота в структуре пакетов передачи

данных значительный объем ресурса расходуется на заголовки, вместе с тем

32

большая часть информации заголовков остается неизменной на протяжении

потока передачи целого кадра (возникающая при этом избыточность

информации

и

механизмы

обеспечения

надежности

доставки,

заключающиеся, в основном, в послании соответствующего сообщения и

повторной передаче пакетов, - приводят при обнаружении и устранении

ошибок к дополнительным временным и материальным затратам); кодовые и

аппаратурные методы контроля передачи информации ориентированы, в

основном, на устранение в управляющих полях пакетов одно- и двукратных

транспозиционных ошибок, однако, при передаче данных возникают

искажения в информационных полях, которые зачастую проявляются в виде

текстовых ошибок более высокой кратности.

В этой связи, решение задач обеспечение достоверности передачи

информации целесообразно рассматривать в двух аспектах.

При решении первого типа задач следует учитывать ошибки, вносимые

оператором, сканирующими и другими устройствами, предназначенными для

ввода информации. Такого вида ошибки составляют наибольший объем

искажений текстовой информации и возникают на Прикладном и Представи-

тельском уровнях модели OSI (Open System Interconnection reference model).

Во втором типе задач контроля достоверности информации дополни-

тельно учитываются вероятности искажений, возникающих на Транспорт-

ном, Сетевом, Физическом и Канальном уровнях OSI.

Востребованность диссертации характеризуется тем, что широкое

внедрение IP-технологии в электронном документообороте связано с

требующими пристального внимания задачами по обнаружению и устра-

нению ошибок при подготовке и оформлении документов.

Данная исследовательская работа ориентирована на обеспечение

реализации законов Республики Узбекистан “Об информатизации”, “Об

электронной цифровой подписи”, “Об электронном документообороте”, “Об

электронной коммерции”, “Об электронных платежах”, а также Постановле-

ния Кабинета Министров Республики Узбекистан № 126 от 04.05.2011 года
«

О мерах по внедрению и использованию единой защищенной электронной

почты и системы электронного документооборота в исполнительном

аппарате кабинета министров, органах государственного и хозяйственного

управления, государственной власти на местах».

Исходя из этого, решение перечисленных задач требует проведения

специальных исследований и разработок, связанных с созданием методов и

алгоритмов, способных осуществлять контроль достоверности информации

за счет использования вложенной избыточности, функционировать в

сформированной транспортной среде и устранять существующие недостатки.

Данное обстоятельство обусловливает необходимость выделения специаль-

ного класса алгоритмов для обеспечения достоверности информации на

основе нового типа PR-избыточности (property redundancy), определяющейся

в зависимости от свойств обрабатываемого объекта.

Соответствие исследования приоритетным направлениям развития

науки и технологий Республики Узбекистан.

Диссертация выполнена

в

33

соответствии с приоритетными направлениями развития науки и технологии:

НТП-17 – «Разработка современных информационных систем, интеллек-

туальных средств управления и обучения, научно-технических БД и прог-

раммных продуктов, обеспечивающих широкое развитие и внедрение

информационных и телекоммуникационных технологий»; ППИ-5 –
«

Разработка информационных технологий, телекоммуникационных сетей,

аппаратно-программных средств, методов и систем интеллектуального

управления и обучения, направленных на повышение уровня информати-

зации общества».

Обзор международных научных исследований по теме диссертации.

Исследования по разработке средств автоматизированного контроля

достоверности передачи и обработки информации с учетом особенностей

естественного языка интенсивно ведутся и достигнуты определенные успехи

учеными стран США, Великобритании, России, Китая, Германии, Австрии,

Швеции, Норвегии, Финляндии, Турции, Израиля, Канады, Кореи, стран

Латинской Америки (Бразилия, Аргентина, Чили) и др.

В публикациях международных экспертных компаний, таких как

Gartner, International Data Corporation, Wobot, Forrester, CNews Analytics,

ЮНИПРАВЭКС, Прогноз, Интерфейс ИТ, Интеллект Телеком и др.

отмечается, что развитие технологий СЭД происходит в направлении

интеграции методов обработки документов, разветвленного управления

через WEB и автоматизации офисных процессов. Наряду с этим, выделяется

актуальность и востребованность присоединения к ним ранее независимых

технологий автоматизированного обнаружения и исправления ошибок ввода,

передачи и обработки информации в электронных документах, контроля и

коррекции орфографии естественных языков, как инструментария снижения

влияния человеческого фактора.

Вместе с тем, по мере увеличения потребностей пользователей сетевых

услуг активно выполняются исследования, посвященные разработке новых

направлений и приложений, основанных на технологии передачи данных.

Аналитическое изучение научно-технической литературы показало, что

несомненным достоинством электронного документооборота, наряду с

применением электронной цифровой подписи или технологий,

гарантирующих подлинность и целостность данных, является возможность

обнаружения и исправления ошибок, допускаемых при составлении, вводе,

передаче и обработке электронных документов за счет методов

автоматизированного контроля информации, снижающих влияние

человеческого фактора.

Степень изученности проблемы.

Методологию исследований по

проблематике повышения достоверности передачи и обработки информации

составляют методы теории кодирования и аппаратурного использования

искусственной избыточности информации, отраженные в большом

количестве монографических работ, диссертационных исследований и

научных статей. В то же время существенной особенностью технологий

электронного документооборота является использование документов и

34

сообщений, содержащих искусственную, естественную, статистическую и

структурно-технологическую избыточность.

Результаты исследований по новому направлению решения проблемы

использования PR-избыточности различной природы предполагают

разработку широкого спектра методов, алгоритмов и программных комплек-

сов обеспечения достоверности передачи и обработки информационных

ресурсов СЭД, научно-методические основы которых предназначены для

развития существующих технологий.

Связь диссертационного исследования с планами научно-

исследовательских работ

отражена в следующих проектах:

государственный научно-технический проект (ГНТП)-4 – «Разработка

программных средств и методов информатизации, систем автоматизации

управления и регулирования технологических процессов» (2000-2002 гг.);

ГНТП-20 – «Разработка современных информационных систем, средств

управления, баз данных и программных продуктов, обеспечивающих

широкое развитие информационных и телекоммуникационных технологий»
(2003-

2005 гг.).

Цель исследования

разработка конструктивных методов, моделей,

алгоритмов и систем контроля достоверности информации при передаче и

обработке данных на основе механизмов использования PR-избыточности, а

также их программно-алгоритмическая реализация при разработке

технологий электронного документооборота.

Для достижения цели сформулированы следующие

задачи исследования

:

выбор методологии создания и развития методов, программно-

алгоритмических комплексов и систем контроля достоверности информации

на прикладных и сетевых уровнях модели OSI за счет использования

информационной PR-избыточности различной природы;

разработка методов и алгоритмов контроля достоверности информации

за счет использования искусственной, естественной и семантической
PR-

избыточности на основе механизмов суммирования, арифметического и

статистического кодирования;

создание и применение механизмов парсингового кодирования,

n-

граммного описания, статистического распознавания и хеш-кодирования

элементов текстов для разработки методов и алгоритмов контроля достовер-

ности информации;

разработка методов, алгоритмов и программных комплексов контроля

достоверности текстов на основе моделей многоуровневого морфологи-

ческого анализа и n-граммного структурного представления ошибок;

моделирование основных компонентов системы контроля и коррекции

орфографии; формализация оценки качества контроля;

формирование и реализация структурно-технологической PR-избыточ-

ности на основе вложенных логических критериев, баз данных и знаний в

составе встроенных экспертных систем при разработке методов и алгоритмов

контроля достоверности информации;

35

создание системы интерактивной обработки информационных ресурсов

путем синтеза алгоритмов контроля достоверности текстов, эксперименталь-

ная проверка и анализ эффективности системы, расчет эффективности внед-

рения результатов исследований в телекоммуникационных системах и СЭД.

Объектом исследования

являются информационные ресурсы и

технологии сбора, формирования, ввода, передачи и обработки информации

и документов систем электронного документооборота.

Предмет исследования

–

методы, алгоритмы и программные

комплексы контроля и обеспечения достоверности информации, основанные

на использование информационной PR-избыточности различной природы.

Методы исследований.

В процессе исследования применены методы и

алгоритмы теорий системного анализа, передачи информации, сетевых

технологий, вероятности, распознавания образов, компьютерной лингвис-

тики, а также алгоритмизации, моделирования и объектно-ориентированного

программирования.

Научная новизна диссертационного исследования

заключается в

следующем:

разработаны концепции, методологии и программно-алгоритмические

основы построения методов, моделей и алгоритмов обеспечения

достоверности информации в системах электронного документооборота,

выделены классы объектов, характеризующиеся PR-избыточностью,

применяемой для обеспечения точности, целостности, оперативности,

сжатия, доступности информационных ресурсов в СЭД;

предложены методы и алгоритмы контроля достоверности информации

за счет использования искусственной избыточности на основе механизмов

линейного, модульного, плоскостного суммирований и определения

принадлежности к закодированным подмножествам;

разработаны

методы и программный комплекс контроля достоверности

информации за счет использования естественной избыточности на основе

алгоритмов статистического, арифметического, парсингового кодирования,
n-

граммного структурированного описания, статистического распознавания и

хеширования элементов текстов;

предложены методы и алгоритмы контроля и коррекции

орфографических ошибок в текстах на узбекском языке на основе моделей

многоуровневого морфологического анализа и описания n-граммной

грамматики;

разработаны методы и алгоритмы контроля достоверности информации

за счет использования структурно-технологической PR-избыточности на

основе вложенных логических критериев, баз данных и знаний в составе

встроенных экспертных систем;

разработаны методы синтеза алгоритмов контроля достоверности

информации в системе интерактивного обнаружения и исправления ошибок

при разработке технологий электронного документооборота

.

36

Практические результаты исследования

заключаются в следующем:

разработаны системы повышения достоверности информации на основе

синтеза методов, использующих искусственную, естественную, статис-

тическую и структурно-технологическую PR-избыточность, дополняющие

существующие кодовые и аппаратурные методы и обеспечивающие

достоверность передачи текстовой информации на прикладных и сетевых

уровнях модели OSI.

продемонстрирована эффективность программных комплексов контроля

достоверности информации на основе критерия вероятностей необнаружения

ошибок, установлено, что они до 92% обнаруживают все виды ошибок,

способны исправлять однократные, двукратные и смежные транспозицион-

ные ошибки, снижают трудоемкость и стоимость процедур контроля в 2-3

раза, повышают достоверность информации до трех порядков.

разработаны системы контроля и коррекции орфографических ошибок

на узбекском языке на основе морфологических и n-граммных структуриро-

ванных моделей, методов словарного, статистического и хеш-кодирования и

предложена их реализация в программно-аппаратной среде параллельных

вычислений NVIDIA с использованием стандартных библиотек численного

анализа, оптимизированного обмена данными между CPU и GPU.

реализована архитектура системы контроля достоверности текстовой

информации на базе фреймворк Сфинкс-4 для модулей с различными

языковыми моделями и определено, что по сравнению с системой контроля

орфографии на основе морфологического анализа при построенном варианте

системы показатели числа необнаруженных ошибок, стоимости реализации и

трудоемкости контроля уменьшаются до двух порядков.

Достоверность полученных результатов

обосновывается тем, что

проведено математическое исследование предложенных моделей,

сравнительный анализ полученных формул и выкладок с реальными и

экспериментальными данными на основе общепринятых критериев. Для

оценки результатов исследований на их непротиворечивость протестирована

эффективность программных комплексов на основе обширного контекста

художественной и технической литературы, проведен сравнительный анализ

эффективности программных комплексов по критериям трудоемкости,

стоимости реализации и вероятности необнаружения ошибок для широкого

класса алгоритмов контроля достоверности информации.

Теоретическая

и

практическая

значимость

результатов

исследования.

Теоретическая значимость полученных результатов исследо-

вания заключается в том, что методы, модели, алгоритмы и программные

комплексы, разработанные на основе принципов использования PR-избыточ-

ности – искусственной, естественной и статистической, структурно-техноло-

гической, программно-временной в совокупности образуют концепцию

создания систем повышения достоверности информации на основе синтеза

прикладных методов, дополняющих существующие кодовые и аппаратурные

методы и обеспечивающих достоверность передачи текстовой информации в

СЭД на прикладных уровнях модели OSI.

37

Практическая ценность работы заключается в применении PR-избыточ-

ности для программной реализации моделей многоуровневого описания

грамматики и n-граммного структурированного представления текста,

процедур контроля и коррекции орфографии узбекского языка, что позволяет

рассчитать и эффективно использовать n-граммные показатели,

сформировать правила контроля достоверности информации по механизмам

парсингового распознавания и кодирования, обнаруживать и устранять

ошибки на прикладном и представительском уровнях сетевой модели OSI.

Внедрение программных комплексов контроля достоверности информации в

структуре СЭД приводит к уменьшению временных и материальных затрат

при составлении, вводе и обработке документов и ускоряет процессы обмена

информацией за счет автоматического обнаружения и исправления ошибок,

которые влечет за собой человеческий фактор.

Внедрение результатов исследования.

Разработанные модели,

алгоритмы, программные комплексы обеспечения точности, целостности,

оперативности и сжатия информационных ресурсов за счет классов объектов

с PR-избыточностью внедрены в системы адаптированной передачи,

обработки и анализа данных Самаркандского филиала компании
«

УзТелеком» Государственного комитета связи, информатизации и

телекоммуникационных

технологий

Республики

Узбекистан

(ДП

«СамТелеком», 23.05.2010 г.). Результаты разработок системы адаптивной

передачи, обработки и анализа данных внедрены в деятельности

совместного предприятия «Lazzat Meva» (акт СП «Lazzat Meva» от

14.05.2010 г.) с годовой экономической эффективностью 62,2 млн. сум.

Апробация работы.

Результаты исследования апробированы на 30

научно-практических конференциях, в том числе на 14 международных

симпозиумах, конгрессах и семинарах, в частности, на международных:

«Инновация» (Ташкент, 2004-2009); «Актуальные проблемы прикладной

математики и информационных технологий – Аль-Хорезми 2009» (Ташкент,
2009); «ICI-2006», «ICI-

2007» (Ташкент, 2006-2007); «ICEIC 2008» (Ташкент,

2008), Х Международной научно-методической конференции ВУЗов по

телекоммуникациям (Россия, Ростов-на-Дону, 2008), «WCIS-2008», «WCIS-
2010», «WCIS-

2012» (Ташкент, 2008-2012); III конгресс математиков

тюркского мира (Алматы, 2009); и республиканских: «Современное

состояние и пути развития информационных технологий» (Ташкент, 2006-
2008),

“Современные проблемы математики, механики и информационных

технологий” (Ташкент, 2008),

«Актуальные проблемы математики и

информатики» (Самарканд, 2007-2010), Республиканская Ярмарка

инновационных идей, технологий и проектов (Ташкент, 2008-2011).

Опубликованность результатов.

По теме диссертации опубликовано

87

научных трудов, в том числе 9 в международных журналах.

Структура и объем диссертации.

Диссертация состоит из введения,

шести глав, заключения, списка литературы, 11 приложений и содержит 197

страниц текста, включает 47 рисунков и 12 таблиц.

38

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении

обоснована актуальность и востребованность темы

диссертации, сформулированы цель и задачи, выявлены объект и предмет

исследования, определено соответствие исследования приоритетным

направлениям развития науки и технологий Республики Узбекистан,

изложены научная новизна и практические результаты исследования,

обоснована достоверность полученных результатов, раскрыты теоретическая

и практическая значимость полученных результатов, приведен список

внедрений в практику результатов исследования, сведения по

опубликованным работам и структуре диссертации.

В

первой главе

диссертации осуществлен теоретико-информационный

анализ существующих кодовых и аппаратурных методов повышения

достоверности передачи информации; определены задачи разработки

методов, моделей и алгоритмов контроля достоверности передачи информа-

ции по принципам использования PR-избыточности – информационной

избыточности различной природы: искусственной, естественной и статисти-

ческой, структурно-технологической и программно-временной.

В работе представлена позиционная схема, отражающая принцип

использования кодовой избыточности, который распространяется также на

методы Рида-Соломона, БЧХ, FEC, применяемые для контроля и коррекции

ошибок в подавляющем большинстве приложений в сфере цифровых

телекоммуникаций. Проведенный системный анализ принципов и

механизмов использования кодовой избыточности в алгоритмах

обнаружения и исправления ошибок позволил определить их

ориентированность на обнаружение одиночных, двойных, тройных ошибок,

имеющих место в искусственно вводимых контрольных разрядах, что

обусловило проведение исследований, направленных на расширение

возможностей кодовых и аппаратурных методов контроля ошибок.

Гипотеза исследования и разработок, направленных на создание

методов и алгоритмов контроля достоверности информации в структуре СЭД

заключается в использовании PR-избыточности, т.е. избыточности различной

природы – искусственной, структурно-технологической, программно-

временной, статистической (естественной) – для повышения достоверности

передачи и обработки информации.

Разработаны основные подходы к синтезу методов, алгоритмов и

систем контроля достоверности информации. Последовательность

выполнения задач проведенных исследований проиллюстрирована в виде

схемы построения структурно-функциональных компонент автоматизиро-

ванных систем контроля достоверности информации, в частности текстовой

(АСКДТИ).

Принято, что при решении поставленных задач основным критерием

эффективности разрабатываемых методов и алгоритмов выступает

минимизация вероятности необнаружения ошибок за счет использования
PR-

избыточности до допустимых пределов достоверности информации.

39

Для оценки вероятности приема кодового слова

0

S

предложена

формула

),

(

))

(

1

(

)

(

/

1

0

1

2

1

/

1

0

i

i

i

S

S

P

S

P

S

S

P

m

−

−

=

−

=

∑

где

)

(

0

S

P

–

вероятность обнаружения ошибки в исходном кодовом слове;

)

/

(

/

1

S

S

P

i

–

условная вероятность приема

i

S

-

го кода при принятом

/

1

S

;

M

–

количество кодовых разрядов в слове.

Предложено оценивать вероятность неправильного приема кодового

слова следующим образом:

,

)

(

)

(

)

(

)

(

1

2

0

1

2

0

1

2

0

∑

∑

∑

−

=

−

≠

=

−

=

Λ

=

=

m

m

m

j

j

i

j

j

j

i

i

H

P

S

P

S

P

S

P

где

j

Λ

–

подмножество элементов неправильно принятых кодовых слов.

Вероятность необнаруженных ошибок предлагается оценивать, как:

∑

−

=

Λ

−

−

−

=

1

2

1

)

(

)

1

(

1

)

(

m

i

j

j

m

ост

P

P

S

P

α

.

Предложена схема формализации вероятностных процессов передачи

информации и построены диаграммы вероятностных переходов для

получения показателей оценки достоверности пакетной передачи данных, а

также достоверности информации в узлах многоуровневой модели OSI.

Разработана методика определения минимального количества

дополнительной информации, требуемой для обнаружения ошибок передачи

данных. Для любого кодового метода, используемого в пакетах передачи

данных для обнаружения ошибок в сообщении

i

S

, при условии, что известен

принятый знак

/
k

S

, количество информации определяется как

).

(

log

log

)

log(

)

(

)

log(

)

(

)

(

/

/

/

2

1

/

/

/

2

1

/

2

1

1

2

/

S

P

P

Q

Q

m

S

S

S

S

P

m

S

S

S

S

P

m

S

S

J

H

H

i

k

i

k

i

k

i

i

k

i

k

k

i

m

m

m

m

+

+

=

=

+

=

+

=

∑

∑

∑

=

=

=

(1)

Дальнейшим преобразованием, приняв

1

0

/

)]

(

1

)[

(

)

(

−

−

=

S

P

S

Q

S

Q

и

1

0

/

)]

(

1

)[

(

)

(

−

−

=

S

P

S

P

S

P

H

H

выражение (1) приводится к виду:

)

(

log

)

(

1

)

(

)

(

log

)

(

1

)

(

)]

(

1

log[

)

1

2

log(

)

(

1

)

(

)

1

2

log(

)

(

1

)

(

)]

(

1

log[

)

(

1

)

(

)

(

log

)

(

1

)

(

)]

(

1

log[

)

(

1

)

(

)

(

log

)

(

1

)

(

)

(

0

0

0

0

0

0

0

0

0

0

0

/

S

P

S

P

S

P

S

Q

S

P

S

Q

S

P

S

P

S

P

m

S

P

S

P

S

P

S

P

S

P

S

P

S

P

S

P

S

P

S

P

S

Q

S

Q

S

P

S

Q

m

S

S

J

H

H

m

H

m

H

H

H

H

k

i

−

+

−

+

−

−

−

×

×

−

−

=

−

−

−

−

−

−

×

×

−

+

−

−

−

−

+

=

где

)

(

S

P

o

-

вероятность обнаружения ошибок в сообщении

S;

)

(

S

Q

-

вероятность правильного приема сообщения

S.

Значение

)

(

/

k

i

S

S

J

определяет минимум дополнительной информации о

сообщении, требуемой для устранения потерь из-за необнаружения ошибок.

40

Предложено выражение упрощенной оценки требуемого объема

избыточности для оценки эффективности произвольного кодового метода

.

)

1

2

(

log

)

1

(

1

1

)

(

nP

P

S

R

m

i

−

−

−

=

Показано, что по разработанной методике оценивается эффективность

программных способов контроля достоверности информации, основанных на

использование PR-избыточности.

Во

второй главе

диссертации разработаны методы и алгоритмы

контроля достоверности информации в составе пакетов передачи данных по

принципам использования искусственной избыточности.

Разработаны методы и алгоритмы контроля достоверности

информации, основанные на использование искусственной избыточности с

помощью механизмов линейного, плоскостного и модульного суммирований,

устраняющих недостатки традиционных программных методов. Алгоритмы

контроля достоверности информации путем суммирования могут установить

не только наличие ошибки в принятой последовательности, но и указать

номер позиции, в которой произошли ошибки, для их автоматического

исправления. Они основаны на следующих правилах:

1

π

–

контроль

достоверности информации;

2

π

–

обнаружение и исправление ошибок типа

1

Q

;

3

π

–

обнаружение и исправление ошибок типа

2

Q

;

4

π

–

обнаружение

ошибок типа

3

Q

;

5

π

–

обнаружение ошибок типа

4

Q

.

Разработана методика проведения общего и частного решения задач

оценки эффективности контроля достоверности информации по критерию

необнаружения ошибок для различных алгоритмов.

Суммарная вероятность необнаруженных ошибок для правил контроля

достоверности информации по линейному суммированию определяется как

}.

10

76

,

5

]

)

1

(

)

1

(

)

1

(

[

67

{

6

3

3

3

4

4

2

2

2

2

4

3

2

1

−

−

−

+

−

+

−

+

⋅

+

−

+

+

−

+

−

=

+

+

+

=

k

n

m

k

n

k

m

n

m

n

m

n

m

H

p

p

C

C

p

p

C

C

p

mnp

P

P

P

P

P

В работе исследованы графики эффективности алгоритмов, построенные

для критериев трудоемкости контроля и стоимости реализации, которые

показали, что при применении алгоритмов линейного и плоскостного

суммирований (

3

П

и

6

П

) по сравнению с другими методами трудоемкость и

стоимость контроля снижается в 2-3 раза.

Графики

зависимости

вероятности

необнаружения

ошибок

алгоритмами контроля

H

P

от вероятности ошибок

Р

показывают, что при

вероятности ошибок в пределах

4

3

10

10

−

−

−

разность способности обнаружения

ошибок исследованных алгоритмов достигает до двух порядков,

трудоемкость и стоимость контроля снижается в 2-3 раза за счет

автоматического исправления ошибок.

Наибольший эффект по показателю достоверности информации

достигается при применении алгоритмов:

2

П

–

поразрядного суммирования,

3

П

поцифрового суммирования,

6

П

–

плоскостного суммирования.

41

Проведен анализ эффективности алгоритмов цифрового, числового

модульного суммирования на базисе модулей 8, 9, 10, 11 и произвольного

модуля q. Наибольший эффект по показателю достоверности информации

достигается при применении алгоритмов почислового модульного

суммирования по модулям 8, 10 и 11.

Установлено, что разработанные алгоритмы обнаруживают до 92%.

всех видов ошибок и исправляют одно- и двукратные смежные

транспозиционные ошибки.

Решена задача определения вероятности ошибок первого и второго

родов алгоритма. При контроле одиночных ошибок получены следующие

формулы:

Первого рода:

4

2

2

2

1

10

1

2

10

10

1

2

−

−

−

⋅

−

+

⋅

+

⋅

−

≈

)

P

(

P

P

)

P

(

P

P

i

i

i

i

i

α

α

α

α

α

.

Второго рода:

5

5

2

2

10

5

1

1

10

5

1

1

−

−

⋅

⋅

−

+

⋅

⋅

−

≈

.

)

P

(

P

.

)

P

(

P

i

i

i

α

α

α

.

Суммарная вероятность необнаруженных ошибок алгоритма равна:

5

2

2

2

1

10

5

,

1

)

1

(

10

)

1

(

2

−

−

⋅

⋅

−

+

⋅

−

≈

+

=

i

i

i

P

P

Р

P

P

P

Н

α

α

α

.

По представленной методике решения задач по критерию вероятности

необнаружения ошибок проанализирована эффективность алгоритмов,

построенных для контроля и обнаружения ошибок всех остальных видов.

В

третьей главе

диссертации разработаны методы и алгоритмы

контроля достоверности информации на основе использования

статистической,

структурно-технологической,

программно-временной

избыточности.

Определено, что алгоритмы, основанные на механизмы использования

логических, технологических, статистических связей и свойств информации

создают благоприятные условия для контроля данных и обеспечивают

высокую достоверность передачи информации.

Сформированы принципы построения программно-алгоритмического

комплекса контроля информации на основе баз данных и баз знаний (БД и

БЗ), систем управления БД (СУБД) и экспертных систем.

Разработаны механизмы применения для контроля достоверности

информации статистической избыточности, которая традиционно

используется в задачах кодирования и сжатия передаваемой информации.

Предложена обобщенная модель оценки вероятности необнаружения

ошибок при использовании исследованных алгоритмов контроля

изображений элементов текста:

2

2

1

1

W

Р

W

Р

Р

Н

+

=

,

где

1

W

,

2

W

-

коэффициенты потери, связанные соответственно с ошибками

первого и второго рода, которые задаются в вещественном интервале [0,1] .

При этом все элементы контролируемого текста разделяются на два

класса: достоверные данные и искаженные.

42

Усреднение вероятности при большом числе

1

N

элементов первого

класса дает

(

)

(

)

2

1

1

1

1

1

1

1

1

W

P

p

N

W

P

p

N

x

л

л

−

+

−

=

,

где

л

P

–

вероятность того, что элемент отнесен к неверному классу.

Усреднение же по

2

N

элементов второго класса приводит к

(

)(

)

2

1

2

1

1

2

2

1

1

W

P

p

N

W

P

p

N

x

л

л

−

−

+

=

.

Вычисление взвешенной разности дает

(

)

(

)(

)

2

1

1

1

2

2

1

1

2

1

1

2

1

W

P

p

W

P

p

N

x

N

x

л

л

−

−

−

−

=

−

.

Для любого

2

/

1

≠

л

P

, оцениваются сумма и разность

1

1

W

p

и

(

)

2

1

1

W

p

−

,

позволяющие получить

1

W

и

2

W

в виде

)

2

1

(

x

x

1

2

1

1

2

2

1

1

Л

P

p

N

N

N

N

W

−

−

=

;

(

)(

)

л

P

p

N

N

N

N

x

W

2

1

1

x

1

2

1

1

2

2

1

2

−

−

−

=

.

В работе разработаны алгоритмы контроля достоверности информации,

основанные на использовании механизмов сжатия методов Хаффмана и

арифметического кодирования, преобразование Барроуза-Вилера, а также

алгоритм Лемпеля-Зива и их модификации.

В предложенных методах ключевым моментом является определение

нижних и верхних вероятностных границ контроля разрешенных кодовых

комбинаций и оценка наиболее вероятных элементов сообщений,

предоставляемых для контроля.

В качестве иллюстрации этого явления построены кривые плотности

распределения вероятностей переданной информации

α

в зависимости от

принятой

β

, как график функций

)

(

α

ϖ

и

)

/

(

α

β

ϖ

–

условного распределения

для нормального закона.

Практическая реализация разработок показала, что чем уже пределы

возможных отклонений от контролируемого значения, тем больше ошибок

первого рода можно обнаружить методом двумерной регрессии или чем

теснее взаимосвязь между контролируемыми параметрами, тем значение

параметра ближе к истинному.

Получено общее и частное решения задач, заключающиеся в

нахождении оптимальных границ условного момента, минимизирующих

общую вероятность ошибок при контроле информации вида:

)

)

(

1

)(

1

(

)

(

)

(

)

(

)

(

)

(

2

1

α

α

α

α

α

α

α

α

d

W

P

d

W

B

P

P

P

P

y

x

y

x

H

∫

∫

−

−

+

=

+

=

.

При этом, получены оценки достоверности информации на основе

нахождения порога различия функций распределений

)

(

α

W

и

)

(

β

W

по

условной вероятности распределения

)

/

(

α

β

W

.

Задача контроля достоверности информации также решена на основе

использования структурной PR-избыточности в контейнерах изображений

пакета передачи данных.

43

Введены следующие обозначения процедур включения и извлечения:

(

)

W

V

W

V

E

=

,

–

процедура включения структурной избыточности в контейнер

изображений;

(

)

'

,

W

V

V

D

W

=

(или

( )

'

W

V

D

W

=

) –

процедура извлечения

структурной избыточности в случае необходимости;

α

-

масштабирующий

коэффициент;

C

–

бинарный признак подобия двух сигналов:

1

=

C

, если

коэффициент взаимной корреляции больше некоторого порога

δ

; в

противном случае

0

=

C

.

Обоснованы следующие варианты работы алгоритмов контроля

достоверности информации на основе структурной избыточности.

В первом варианте алгоритм контроля -

(

)

C

D

E

А

,

,

1

основывается на

строго обратимом процессе. При этом предполагается, что для любого

W

V

существует отображение

1

−

E

такое, что выполняются условия:

( ) (

)

F

F

W

W

V

V

E

,

1

=

−

и

(

)

W

F

F

V

W

V

E

=

,

, причем,

1

−

E

вычислительно

осуществимо,

F

W

принадлежит к классу структурной избыточности,

позволяющей

извлечь

истинное

и

ложное

изображения

и

(

)

(

)

1

,

,

,

=

δ

F

F

W

W

V

V

D

C

.

Во втором варианте алгоритм

(

)

C

D

E

А

,

,

2

основывается на слабо

обратимом процессе. При этом ставится требование, чтобы выполнялось

условие

(

)

W

F

F

V

W

V

E

=

,

.

Отмечено, что даже

(

)

W

V

W

V

E

=

,

может не

выполняться в силу различного рода искажений

W

V

. С другой стороны, это

требование слишком слабо для определения обратимости, в связи с чем оно

заменено на требование, чтобы

(

)

'

,

W

F

F

V

W

V

E

=

, где

(

)

1

,

,

'

=

δ

W

W

V

V

C

.

Другим условием учета слабой обратимости процесса в алгоритме

(

)

C

D

E

А

,

,

2

является то, что для любого

W

V

существует отображение

1

−

E

такое, где

( ) (

)

F

F

W

W

V

V

E

,

1

=

−

и

(

)

'

,

W

F

F

V

W

V

E

=

. При этом

1

−

E

вычислительно осуществимо,

(

)

1

,

,

'

=

δ

F

W

V

V

C

,

(

)

1

,

,

'

=

δ

W

W

V

V

C

и

(

)

(

)

1

,

,

,

'

=

δ

F

F

W

W

V

V

D

C

.

Разработаны алгоритмы контроля достоверности информации,

основанные на использовании структурно-технологической PR-избыточ-

ности и встроенных экспертных систем, баз знаний, процедур логического

контроля информации и структур данных. Предложены принципы выбора

характеристик, критерии и места реализации решающих правил в составе

рассматриваемой СЭД. На основе сформулированных принципов и

критериев построены алгоритмы, программные модули систем контроля

достоверности информации в СЭД.

Предложен комбинированный подход к использованию программно-

временной избыточности для реализации средств автоматического контроля

и восстановления данных, а также для функционирования средств защиты на

основе PR-избыточности. Проведена классификация организационно-

оперативных методов контроля достоверности информации в СЭД.

44

Система контроля достоверности информации построена на основе

технологии объектно-ориентированного программирования и включает

тринадцать функциональных и восемнадцать прикладных программных

модулей, которые устойчивы к различным возмущениям и способны

сохранять достаточное качество результатов во всех реальных условиях.

Проведен сравнительный анализ эффективности разработанных

методов и алгоритмов контроля достоверности информации. Сближение

экспериментальных значений - Р*

Н

к аналитическим, полученным в

теоретических разделах диссертации проверены по критерию

ℵ

2

–

Пирсона

при гарантийной вероятности 0.9, что подтверждает хорошее соответствие

экспериментальных результатов теоретическим.

В

четвертой главе

диссертации разработаны методы и алгоритмы

контроля достоверности информации по принципам использования

статистической избыточности на основе n-граммных языковых моделей,

моделей парсингового кодирования и распознавания элементов текста.

Смоделированы процессы построения закономерностей распределения

n-

граммной статистики и разработаны алгоритмы: выявления искаженных

элементов текста, кластеризации, поиска, структуризации, а также получения

частотных характеристик, реализуемые при построении системы контроля и

коррекции ошибок.

Выявлено, что работа системы контроля на основе моделей поиска,

распознавания и кластеризации, связана с привлечением большого объема

памяти. Для устранения этих недостатков при решении задач контроля

орфографии текстов рекомендовано использование механизмов систем

параллельных вычислений, основанных на модели GPU и технологии CUDA.

Оценка минимизированной таким образом потребляемой памяти

представляется функцией

)

1

ln(

)

(

/

1

x

P

nx

x

f

−

−

=

где

n

–

длина кодов,

х

–

переменная, обозначающая количество хеш-функций.

Обоснованы принципы, предложены модели и алгоритмы построения

систем контроля достоверности информации, позволяющие сочетать:

механизмы словарного, статистического и хеш-кодирования; способы,

алгоритмы, процедуры параллельных вычислений.

При построении программно-технического комплекса (ПТК) контроля

достоверности информации (КДИ) использовано унифицированное

программно-аппаратное решение для параллельных вычислений на

видеочипах NVIDIA. Особенностью системы на основе параллельных

вычислений является то, что при ее исполнении решается задача устранения

превосходства числа логических потоков над физическими устройствами.

Для оценки эффективности алгоритмов контроля достоверности

информации на основе парсингового моделирования предложено

использовать полную вероятность выделения и распознавания строки слов

45

Рис. 1. Взаимосвязь модулей

парсингового распознавания текста

)

(

)

|

(

max

arg

A

P

A

W

P

W

W

=



,

где

W

–

исследуемое слово в виде множества элементов текста

n

w

w

w

W

,...,

,

2

1

=

;

)

/

(

A

W

P

–

условная вероятность слова

W

в строке

A

;

)

(

A

P

–

априорная вероятность строки

}

,...,

,

{

2

1

n

a

a

a

A

=

в тексте.

Работа системы контроля орфографических ошибок на основе

алгоритмов парсингового кодирования

организована

по

предложенной

древовидной модели.

Схема функционирования системы

парсингового распознавания, состоя-

щей из трех модулей представлена на

рис.1. «Предсказатель слова» предска-

зывает следующее слово

1

+

k

w

, данное

k

-

префиксом слово-парсинга, и затем

передает управление модулю «Tаггер».

«Taггер» предсказывает POS признак

1

+

k

t

следующего слова, данного

k

-

префиксом слово-парсинга и последнего

предсказанного слова

1

+

k

w

, а затем передает управление модулю

«Конструктор». «Конструктор» наращивает структуру, повторно генерируя

переходы, пока управление не перейдет к модулю «Предсказатель».

В работе разработан алгоритм распознавания на основе нейронной сети

(

НС) ассоциативной памяти для контроля достоверности элементов текста.

Процесс ввода и контроля достоверности сигнала изображения элемента

текста на основе НС проиллюстрирован на рис. 2.

Предложена

методика

оценки

вероятности

недостоверного

распознавания путем сравнения распознаваемого элемента текста со

специальными справочниками словоформ, частотными словарями

монограмм, диграмм, триграмм, к-грамм.

Рис. 2. Контроль достоверности сигнала элемента текста

Окно

сглаживания

Распознаватель

на основе

нейросети

Дискретный

преобразователь Фурье

Спектр

Окно

ввода

Система

контроля

Обработка сигнала изображения

Выход распознавателя

Сигнал на обучение НС

46

Вероятность неправильного распознавания по общему объему

справочника определяется как

∏

−

=

−

≡

+

−

−

−

−

=

1

1

)))

1

)

(

2

)(

(

))

(

1

((

1

(

))

(

1

(

1

)

(

n

i

i

a

p

a

a

p

a

p

a

p

p

τ

,

3

10

)

(

−

<

a

p

,

где

τ

–

объем специального справочника проверки достоверности

распознавания образа;

)

(

a

p

–

вероятность ошибки элемента текста при передаче и обработке

информации;

)

(

i

a