Published 2023-04-30
Keywords
- Stemming, NLP, affiks, agglyutinativ til,NER, neologizm, POS teglash.
Abstract
Bir leksemadan nazariy jihatdan cheksiz koʻp soʻz shakllarni yasash mumkin boʻlgan turk tili kabi aglutinativ tillar uchun oʻzakni aniqlash murakkab va muhim masaladir. Bugungi kunda oʻzbek tilidagi soʻzlarning oʻzagini aniqlashda ham analitik, ham statistik yondashuvlar qoʻllanilgan. Ushbu yondashuvlar asosida oʻzakni aniqlashda yaqqol namoyon boʻladigan ikkita asosiy muammo – bu yopiq lugʻat va koʻplab nomzodlar orasidan haqiqiy oʻzakning aniqlanish. Maqolada statistik usullardan foydalangan holda soʻzlardan qoʻshimchalarni olib tashlash masalasi koʻrib chiqiladi. Maqolada keltirilgan algortim orqali amalga oshirilgan stemming usulning samaradorligi 97,5% ga teng.