Trong xử lý ngôn ngữ tự nhiên (NLP), kỹ thuật "word embedding" (biểu diễn từ) mang lại lợi ích chính nào so với phương pháp "bag-of-words" (túi từ)?

BERT chỉ có thể xử lý văn bản tiếng Anh, trong khi Word2Vec và GloVe có thể xử lý đa ngôn ngữ.

BERT tạo ra biểu diễn từ theo ngữ cảnh (contextualized word embeddings), trong khi Word2Vec và GloVe tạo ra biểu diễn từ tĩnh (static word embeddings).

BERT sử dụng mạng nơ-ron hồi quy (RNN), trong khi Word2Vec và GloVe sử dụng mạng nơ-ron tích chập (CNN).

BERT đòi hỏi ít dữ liệu huấn luyện hơn so với Word2Vec và GloVe.

Giảm kích thước dữ liệu huấn luyện để tăng tốc độ huấn luyện.

Loại bỏ dữ liệu nhiễu khỏi tập huấn luyện.

Tạo ra các biến thể của dữ liệu hiện có (ví dụ: thay thế từ đồng nghĩa, xáo trộn câu) để tăng tính đa dạng của tập huấn luyện.

Chia nhỏ dữ liệu huấn luyện thành các phần nhỏ hơn để huấn luyện song song.

Dịch văn bản giữa nhiều ngôn ngữ khác nhau.

Huấn luyện mô hình trên dữ liệu đa ngôn ngữ cùng một lúc.

Chuyển giao kiến thức học được từ một ngôn ngữ (thường là ngôn ngữ có nhiều tài nguyên) sang một ngôn ngữ khác (thường là ngôn ngữ ít tài nguyên hơn).

Đánh giá mô hình NLP trên nhiều ngôn ngữ.

Phân tích cảm xúc trong văn bản.

Lưu trữ và truy xuất thông tin, hỗ trợ trả lời câu hỏi và suy luận.

Tạo ra văn bản tự động.

Dịch văn bản giữa các ngôn ngữ.

Mô hình huấn luyện chậm hơn.

Mô hình dễ bị "overfitting" hơn.

Mô hình tiêu thụ nhiều bộ nhớ hơn.

Mô hình khó học được các phụ thuộc dài hạn trong chuỗi văn bản, làm giảm khả năng xử lý văn bản dài.

Khả năng xử lý tốt hơn với các từ ngoài từ vựng (out-of-vocabulary words) và lỗi chính tả.

Tạo ra biểu diễn từ giàu ngữ nghĩa hơn.

Huấn luyện nhanh hơn và hiệu quả hơn.

Yêu cầu ít dữ liệu huấn luyện hơn.

Mã hóa tuần tự văn bản đầu vào và giải mã tuần tự văn bản đầu ra.

Sử dụng mạng nơ-ron tích chập để trích xuất đặc trưng từ văn bản.

Phân tích tần suất xuất hiện của các từ trong văn bản.

Cho phép mô hình học cách gán trọng số khác nhau cho các phần khác nhau của dữ liệu đầu vào khi tạo ra đầu ra.