Articles
Published 2022-05-19
Keywords
- tokenizer,
- leksik birlik,
- system,
- program
Abstract
Ushbu maqolada tokenizator nima ekanligi to‘g‘risida
tushunchalar va tokenizator qanday yartatilishi haqida so‘z yuritiladi. Matnlarni
tartibga keltiruvchi dastur biz uchun qanchalik lozimligi va uning ishlash jarayoni
to‘g‘risida ham fikrlar aytib o‘tiladi.