TIL KORPUSINI TEGLASH JARAYONIDA ANNOTATORLARNING ROLI, IAA O‘LCHOVLARI VA TEGLASH SIFATINI TA’MINLASH METODLARI
Published 2026-05-31
Keywords
- Teglash jarayoni, annotatorlararo kelishuv, Inter-Annotator Agreement (IAA), Kohen Kappa, Fleiss Kappa, Krippendorff Alpha, tabiiy tilni qayta ishlash (NLP), o‘lchov metrikalari.
Abstract
Tabiiy tilni qayta ishlash (NLP) sohasida ishonchli teglangan ma’lumotlar mashinali o‘qitish (ML) va modellarni baholash uchun muhim ahamiyatga ega. Ushbu maqolada teglash jarayonining bosqichlari keltiriladi va annotatorlararo kelishuv (IAA) mezonlari asosida teglash izchilligi baholanadi. Matnli korpus tayyorlash, uni teglash ko‘rsatmalarini ishlab chiqish, hamda bir nechta annotatorlar tomonidan mustaqil ravishda matnni teglash bosqichlari bayon etiladi. Annotatorlar mustaqil tarzda so‘z turkumlarini teglash (POS) va nomlangan obyektlarni aniqlash (NER) kabi NLP vazifalari bo‘yicha matnni teg bilan belgilaydi. Annotatorlararo kelishuv darajasi Kohen Kappasi (ikki annotator o‘rtasidagi kelishuv), Fleiss Kappasi (bir nechta annotatorli holatda) va Krippendorff Alpha (umumiy kelishuv o‘lchovi) kabi statistik ko‘rsatkichlar yordamida baholanadi. Olingan natijalar o‘rtacha 0,75 atrofidagi Kappa qiymatini va yuqori kelishuv darajasini ko‘rsatadi. Bu esa teglash natijasining yuqori ekanligini tasdiqlaydi. Shuningdek, annotatorlar o‘rtasidagi tafovutlar teglash bo‘yicha ko‘rsatmalarni yanada takomillashtirish zarurligini ko‘rsatadi. Teglash ko‘rsatmalari qanchalik aniq ishlab chiqilgan bo‘lsa, kelishuv darajasi shunchalik yuqori bo‘ladi. Teglash jarayonida IAA kelishuv ko‘rsatkichlarini qo‘llash ma’lumotlar sifatini oshirishga xizmat qiladi.