Articles
Published 2024-05-22
Keywords
- lemma, lemmatizatsiya, stem, stemming, model, UzLemmatizator, token, tokenizatsiya
Abstract
Ushbu maqolada korpus tuzish uchun stemming va lemmatizatsiyaning ahamiyati yoritilgan. Stemming va lemmatizatsiyaning bir biridan farqi ochib berilgan va misollar bilan isbotlangan. O‘zbek tilidagi so‘zlar lemmasini aniqlash uchun lemmatizatsiya algoritmi izohlangan. Shu bilan birga, mazkur maqolada lemmatizatsiyaning o‘zbek-turk parallel korpusini yaratishdagi ahamiyati ham ochib berilgan. O‘zbek va turk tilidagi lemmani aniqlash uchun modellar taklif qilingan.