Mô hình BERT (Bidirectional Encoder Representations from Transformers) nổi tiếng với khả năng hiểu ngữ cảnh hai chiều của từ trong câu. Điều này có nghĩa là gì?

Thay thế từ OOV bằng từ đồng nghĩa

Sử dụng mã hóa theo cặp byte (Byte Pair Encoding - BPE) hoặc các phương pháp phân tách từ con

Bỏ qua hoàn toàn các từ OOV trong quá trình xử lý

Gán ngẫu nhiên vectơ cho các từ OOV

Mạng nơ-ron truyền thẳng (Feedforward Neural Network)

Mạng nơ-ron tích chập (Convolutional Neural Network - CNN)

Mạng nơ-ron hồi quy dài-ngắn hạn (Long Short-Term Memory - LSTM)

Mạng tự mã hóa (Autoencoder)

Sinh văn bản (Text Generation)

Dịch máy (Machine Translation)

Trích xuất thông tin (Information Extraction)

Phân loại văn bản (Text Classification)

Độ chính xác (Accuracy)

ĐộRecall (Recall)

Điểm F1 (F1-score)

Lỗi dương tính giả (False Positive)

Chọn lọc và kết hợp các câu quan trọng nhất từ văn bản gốc để tạo bản tóm tắt

Diễn giải lại nội dung của văn bản gốc bằng ngôn ngữ khác

Sử dụng mô hình sinh văn bản để tạo ra bản tóm tắt mới hoàn toàn

Loại bỏ các thông tin không quan trọng và giữ lại các từ khóa chính

Lịch sử các câu hỏi và câu trả lời trong hội thoại

Thông tin về ngữ cảnh hiện tại và mục tiêu của người dùng trong hội thoại

Các thực thể có tên được đề cập trong hội thoại

Cảm xúc của người dùng trong suốt hội thoại

Tách từ (Tokenization)

Loại bỏ từ dừng (Stop word removal)

Nguyên thể hóa (Lemmatization)

Chuẩn hóa văn bản (Text normalization)