Статьи
Опубликован 2022-05-19
Ключевые слова
- tokenizator,
- leksik birlik,,
- tizim,
- dastur,
- dasturiy ta’minot
Аннотация
Ushbu maqolada tokenizator nima ekanligi to‘g‘risida
tushunchalar va tokenizator qanday yartatilishi haqida so‘z yuritiladi. Matnlarni
tartibga keltiruvchi dastur biz uchun qanchalik lozimligi va uning ishlash jarayoni
to‘g‘risida ham fikrlar aytib o‘tiladi.