Trong NLP, 'tokenization' là quá trình:

Nhận dạng giọng nói của người dùng.

Xác định ý định của người dùng.

Theo dõi trạng thái hội thoại và quyết định phản hồi phù hợp tiếp theo.

Tạo ra văn bản phản hồi tự nhiên.

Mô hình phân loại văn bản.

Mô hình ngôn ngữ.

Mô hình nhận dạng thực thể có tên.

Mô hình dịch máy.

Convolutional Neural Network (CNN).

Recurrent Neural Network (RNN).

Attention mechanism (cơ chế chú ý).

Support Vector Machine (SVM).

Phân tích cảm xúc của văn bản.

Nhận diện và phân loại các thực thể có tên trong văn bản (ví dụ: tên người, tổ chức, địa điểm).

Tóm tắt nội dung chính của văn bản.

Dịch văn bản sang ngôn ngữ khác.

Khả năng của ngôn ngữ tự nhiên có nhiều cách diễn đạt cùng một ý.

Việc máy tính không thể hiểu được ngôn ngữ của con người.

Việc một từ hoặc cụm từ có thể có nhiều hơn một nghĩa.

Sự khác biệt giữa ngôn ngữ nói và ngôn ngữ viết.

Ý nghĩa của từ trong ngữ cảnh.

Chức năng ngữ pháp của từ (ví dụ: danh từ, động từ, tính từ).

Tần suất xuất hiện của từ trong văn bản.

Cảm xúc mà từ đó thể hiện.

Học từ dữ liệu không có nhãn.

Thực hiện nhiệm vụ mà không cần được huấn luyện trực tiếp trên nhiệm vụ đó.

Học nhanh chóng từ một lượng nhỏ dữ liệu.

Hoạt động hiệu quả trên các thiết bị có tài nguyên hạn chế.