Mô hình ngôn ngữ BERT (Bidirectional Encoder Representations from Transformers) nổi bật với khả năng gì?

Mạng nơ-ron hồi quy (Recurrent Neural Network - RNN).

Mạng nơ-ron tích chập (Convolutional Neural Network - CNN).

Mạng nơ-ron truyền thẳng (Feedforward Neural Network).

Mạng nơ-ron tự tổ chức (Self-Organizing Map - SOM).

Stemming (cắt gốc từ)

Lemmatization (nguyên mẫu hóa)

Tokenization (tách từ)

Stop word removal (loại bỏ từ dừng)

Câu này thể hiện tình cảm tích cực.

Câu này thể hiện tình cảm tiêu cực.

Câu này thể hiện tình cảm hỗn hợp (vừa tích cực, vừa tiêu cực).

Câu này không thể hiện tình cảm rõ ràng.

Giảm độ phức tạp tính toán của mô hình.

Cho phép mô hình tập trung vào các phần liên quan của câu khi xử lý thông tin.

Tăng tốc độ hội tụ của mô hình trong quá trình huấn luyện.

Cải thiện khả năng biểu diễn từ vựng của mô hình.

Đánh trọng số cho các từ trong văn bản dựa trên tần suất xuất hiện của chúng trong văn bản và độ hiếm của chúng trong toàn bộ tập văn bản.

Giảm số chiều của vectơ biểu diễn văn bản.

Phân cụm các văn bản có chủ đề tương tự.

Phân tích cảm xúc của văn bản.

Vị trí của từ trong câu.

Tần suất xuất hiện của từ trong văn bản.

Ý nghĩa ngữ nghĩa của từ.

Mối quan hệ cú pháp giữa các từ.

Word Embedding tạo ra vectơ thưa thớt, tiết kiệm bộ nhớ hơn.

Word Embedding tính toán nhanh hơn Bag-of-Words.

Word Embedding thể hiện được mối quan hệ ngữ nghĩa giữa các từ.

Word Embedding không yêu cầu tiền xử lý văn bản phức tạp.