"Character-level embedding" (biểu diễn mức ký tự) có ưu điểm gì so với "word-level embedding" (biểu diễn mức từ) trong một số ứng dụng NLP?

BERT chỉ có thể xử lý văn bản tiếng Anh, trong khi Word2Vec và GloVe có thể xử lý đa ngôn ngữ.

BERT tạo ra biểu diễn từ theo ngữ cảnh (contextualized word embeddings), trong khi Word2Vec và GloVe tạo ra biểu diễn từ tĩnh (static word embeddings).

BERT sử dụng mạng nơ-ron hồi quy (RNN), trong khi Word2Vec và GloVe sử dụng mạng nơ-ron tích chập (CNN).

BERT đòi hỏi ít dữ liệu huấn luyện hơn so với Word2Vec và GloVe.

Phân tích cảm xúc trong văn bản.

Lưu trữ và truy xuất thông tin, hỗ trợ trả lời câu hỏi và suy luận.

Tạo ra văn bản tự động.

Dịch văn bản giữa các ngôn ngữ.

Giảm kích thước dữ liệu huấn luyện để tăng tốc độ huấn luyện.

Loại bỏ dữ liệu nhiễu khỏi tập huấn luyện.

Tạo ra các biến thể của dữ liệu hiện có (ví dụ: thay thế từ đồng nghĩa, xáo trộn câu) để tăng tính đa dạng của tập huấn luyện.

Chia nhỏ dữ liệu huấn luyện thành các phần nhỏ hơn để huấn luyện song song.

Dịch văn bản giữa nhiều ngôn ngữ khác nhau.

Huấn luyện mô hình trên dữ liệu đa ngôn ngữ cùng một lúc.

Chuyển giao kiến thức học được từ một ngôn ngữ (thường là ngôn ngữ có nhiều tài nguyên) sang một ngôn ngữ khác (thường là ngôn ngữ ít tài nguyên hơn).

Đánh giá mô hình NLP trên nhiều ngôn ngữ.

Giảm chiều dữ liệu văn bản hiệu quả hơn.

Nắm bắt được mối quan hệ ngữ nghĩa giữa các từ.

Tăng tốc độ xử lý văn bản trong các mô hình NLP.

Đơn giản hóa quá trình tiền xử lý văn bản.

Tỷ lệ các trường hợp dự đoán là lớp tích cực và thực sự là lớp tích cực.

Tỷ lệ các trường hợp thực sự là lớp tích cực được dự đoán đúng là lớp tích cực.

Tổng số trường hợp dự đoán đúng trên tổng số trường hợp.

Mức độ mô hình khái quát hóa tốt trên dữ liệu mới.

Biểu diễn văn bản dưới dạng đồ thị.

Phân tích cấu trúc cú pháp của câu.

Phân tích chuỗi n từ liên tiếp trong văn bản, hữu ích trong mô hình hóa ngôn ngữ và các nhiệm vụ khác.

Tóm tắt văn bản bằng cách chọn ra các câu quan trọng nhất.