LEKSIK SINONIMLARNI ANIQLASH UCHUN WORD2VEC VA ROBERTAFORMASKEDLM MODELLARIDAN FOYDALANISH. SYN-ROBERTA MODELI HAQIDA
Published 2023-04-30
Keywords
- Word2Vec, RoBERTa, vektorayzer, tokenayzer, mashinali o‘qitish, leksik sinonimlar.
Abstract
Leksik sinonimlarni lug‘atga asoslangan usul, ya’ni avvaldan shakllantirilgan sinonimlar bazasi bilangina avtomatik aniqlash to‘laqonli o‘zini oqlamasligi mumkin. Sababi sinsonim sifatida taqdim etilgan so‘zlar kontekstga mos tushmasligi mumkin. Bu esa o‘zbekcha sinonimayzer dasturidan foydalanishda noqulaylik tug‘diradi. Ushbu maqolada sinonimlarni kontekstni inobatga olgan holda aniqlashda foydali deb topilayotgan Word2Vec va RoBERTa modellariga nazar tashlandi. Qolaversa, Word2Vec, RoBERTa modeli va barcha uslub va ohang doirasida teglangan sinsetlar bazasi integratsiyasi asosida ishlaydigan Uz-Synonymizer loyihasiga to‘xtalib o‘tildi.