Published 2026-01-06
Keywords
- annotatorlararo kelishuv, Cohen's kappa, Krippendorff's alpha, gamma (γ) o‘lchovi, exact-match F1, annotatsiya ishonchliligi, pilot annotatsiya, oltin standart.
Abstract
Mazkur maqola ko‘p qatlamli lingvistik annotatsiyaning ishonchliligini baholash metodlariga bag‘ishlangan. Annotatorlararo kelishuvni bitta umumiy foizga qisqartirish qaysi komponent – hodisaning mavjudligi, span chegarasi yoki kategoriya tanlovi – ishonchsiz ekanini yashirib qo‘yadi. Shu sababli maqolada uch mustaqil o‘lchov ko‘rib chiqiladi: Cohen's κ (nominal kategoriya kelishuvi), Krippendorff's α (bir nechta annotator va yetishmayotgan belgilar uchun umumlashgan yondashuv) hamda erkin span vazifalari uchun γ va exact-match F1 ko‘rsatkichlari. Har bir o‘lchovning qo‘llash sharti, matematik asosi va talqin chegaralari tahlil qilinadi, shuningdek kamyob sinflar va «prevalence paradox» kabi metodik xavflar, ikki annotatorli pilot sxema va ma'lumotlarni validatsiyalash protokoli taqdim etiladi.