NLP: TOKENIZATSIYA, STEMMING, LEMMATIZATSIYA VA NUTQ QISMLARINI TEGLASH

Аннотация

Tabiiy tilni qayta ishlash (Natural Language Processing, NLP)
dunyodagi eng tez rivojlanayotgan sohalardan biridir. Tabiiy tilni qayta ishlash
(NLP) – bu sun’iy intellekt sohasi boʻlib, unda inson tilidagi ma’lumotlarni
kompyuterlar vositasida intellektual tarzda tahlil qilish va tushunish amalga
oshiriladi. Berilgan ma’lumotlardan zarur axborotlarni olish uchun tartiblangan
bosqichlar toʻplami NLPda pipline jarayoni deb ataladi. Ushbu maqolada NLPdagi
matnni boshlangʻich qayta ishlash (pipline jarayoni) bosqichlari hisoblangan
tokenizatsiya, stemming, lemmatizatsiya va soʻz turkumlariga ajratish jarayonlarini
koʻrib chiqamiz. Shunigdek, ushbu jarayonlarning amaliy tadbigʻini Python tili
vositalari yordamida tavsiflaymiz.