SO‘ZLARNI JOYLASHTIRISH MODELLARI YORDAMIDA O‘ZBEK TILI LEKSIK SINONIMLARINI AJRATIB OLISH: LEMMA VA TOKEN YONDOSHUVLARI TAHLILI

Аннотация

Tabiiy tilni qayta ishlash sohasida so‘zni joylashtirish modellari yordamida leksik sinonimlarni ajratib olish masalasi haligacha dolzarbligicha qolmoqda. Bu masala lug‘atga asoslangan usuldan ko‘ra afzalroqdir. Shu sababdan, ushbu maqolada so‘zlarni joylashtirish modellaridan Word2Vec va FastText yordamida nomzodlar k=10, k=50 bo‘lgan holatlarda sinonimlarni ajratib olish jarayoni ko‘rib chiqildi. Har bir maqsad so‘z uchun nomzodlar orasidan UzWordNet sinsetlariga asoslangan holatda leksik sinonimlar ajratib olindi. Xuddi shu ajratib olish va sintezga asoslangan filtrlash protsedurasi ikkita normallashtirish sozlamalarida ‒ token asosidagi (sirt shakllari) va lemma asosidagi (kanonik shakllar) ‒ ko‘rib chiqildi. Olingan natijalar shuni ko‘rsatadiki, agglyutinativ xususiyatga ega o‘zbek tili uchun Word2Vec kichik sinonim nomzodlari k=10 bo‘lganda, n gramlarga asoslangan FastText modeli esa yuqori sinonim nomzodlari olinganda, ya’ni k=50 va undan katta holatlarda ko‘proq sinonim nomzodlarini o‘z ichiga oladi.