"Chatbot" (Trợ lý ảo) sử dụng NLP để thực hiện điều gì?

Biểu diễn từ dưới dạng vector số, giúp máy tính hiểu được quan hệ ngữ nghĩa giữa các từ

Loại bỏ các từ không quan trọng trong văn bản

Phân chia văn bản thành các câu

Đếm tần suất xuất hiện của các từ

Xác định chủ đề của văn bản

Xác định cấu trúc ngữ pháp và quan hệ giữa các thành phần trong câu

Phân loại văn bản theo tình cảm (tích cực, tiêu cực, trung lập)

Dịch văn bản từ ngôn ngữ này sang ngôn ngữ khác

Phân loại văn bản theo chủ đề

Xác định và phân loại các thực thể có tên (ví dụ: người, tổ chức, địa điểm) trong văn bản

Phân tích cảm xúc và thái độ trong văn bản

Tóm tắt nội dung chính của văn bản

Mã hóa token (Tokenization)

Loại bỏ từ dừng (Stop word removal)

Lemma hóa (Lemmatization)

Phân tích cú pháp (Parsing)

Stemming phức tạp hơn Lemmatization

Stemming chỉ đơn giản cắt bỏ hậu tố, có thể tạo ra từ không có nghĩa, còn Lemmatization đưa về dạng từ điển có nghĩa

Lemmatization nhanh hơn Stemming

Stemming chỉ áp dụng cho tiếng Anh, còn Lemmatization có thể dùng cho nhiều ngôn ngữ

Bằng cách mã hóa thứ tự từ trong câu

Bằng cách đếm tần suất xuất hiện của mỗi từ trong văn bản

Bằng cách sử dụng mạng nơ-ron để học biểu diễn từ

Bằng cách phân tích quan hệ ngữ pháp giữa các từ