"Tokenization" (Mã hóa token) là quá trình đầu tiên trong nhiều quy trình NLP. Nó làm gì?

Phân tích dữ liệu người dùng để cải thiện sản phẩm

Hiểu ngôn ngữ tự nhiên của người dùng và phản hồi một cách phù hợp

Tự động tạo ra nội dung quảng cáo

Theo dõi hành vi trực tuyến của người dùng

Biểu diễn từ dưới dạng vector số, giúp máy tính hiểu được quan hệ ngữ nghĩa giữa các từ

Loại bỏ các từ không quan trọng trong văn bản

Phân chia văn bản thành các câu

Đếm tần suất xuất hiện của các từ

Dựa trên mạng nơ-ron sâu để học ngữ cảnh

Dựa trên quy tắc ngữ pháp được lập trình sẵn

Dựa trên xác suất xuất hiện của N từ liên tiếp trong dữ liệu huấn luyện

Dựa trên phân tích ngữ nghĩa của từ

Mã hóa token (Tokenization)

Loại bỏ từ dừng (Stop word removal)

Lemma hóa (Lemmatization)

Phân tích cú pháp (Parsing)

Xác định chủ đề của văn bản

Xác định cấu trúc ngữ pháp và quan hệ giữa các thành phần trong câu

Phân loại văn bản theo tình cảm (tích cực, tiêu cực, trung lập)

Dịch văn bản từ ngôn ngữ này sang ngôn ngữ khác

Tăng tốc độ tính toán của mô hình

Giảm thiểu hiện tượng overfitting

Thay thế cho lớp mạng nơ-ron tích chập (CNN)

Cho phép mô hình tập trung vào các phần quan trọng nhất của đầu vào khi xử lý

Phân loại văn bản theo chủ đề

Xác định và phân loại các thực thể có tên (ví dụ: người, tổ chức, địa điểm) trong văn bản

Phân tích cảm xúc và thái độ trong văn bản

Tóm tắt nội dung chính của văn bản