Tại sao việc xử lý ngôn ngữ tự nhiên cho các ngôn ngữ ít tài nguyên (low-resource languages) lại gặp nhiều thách thức?

Mô hình học quá tốt trên dữ liệu huấn luyện nhưng kém hiệu quả trên dữ liệu mới (dữ liệu kiểm tra).

Mô hình không học được gì từ dữ liệu huấn luyện.

Mô hình xử lý dữ liệu quá chậm.

Mô hình yêu cầu quá nhiều bộ nhớ để hoạt động.

Phân tích cú pháp câu.

Dự đoán từ hoặc chuỗi từ tiếp theo có khả năng xuất hiện trong một ngữ cảnh nhất định.

Tìm kiếm thông tin trong văn bản.

Chuyển đổi văn bản thành chữ viết tay.

Khả năng mô hình xử lý ngôn ngữ tự nhiên một cách nhanh chóng.

Khả năng hiểu được cách mô hình NLP đưa ra quyết định hoặc dự đoán, giúp tin tưởng và cải thiện mô hình.

Khả năng mô hình dịch văn bản sang nhiều ngôn ngữ khác nhau.

Khả năng mô hình tự động sửa lỗi chính tả trong văn bản.

Khả năng xử lý song song nhanh chóng.

Khả năng ghi nhớ thông tin từ các bước thời gian trước đó, phù hợp với tính tuần tự của ngôn ngữ.

Cấu trúc đơn giản và dễ huấn luyện.

Hiệu quả trong việc xử lý dữ liệu phi cấu trúc.

Làm tăng kích thước dữ liệu cần xử lý.

Một từ hoặc cụm từ có thể có nhiều nghĩa khác nhau tùy thuộc vào ngữ cảnh, khiến máy tính khó xác định đúng ý nghĩa.

Giảm tốc độ xử lý của các mô hình NLP.

Yêu cầu các mô hình NLP phải có độ chính xác tuyệt đối.

Các từ có tần suất xuất hiện thấp trong văn bản và ít quan trọng về mặt ngữ nghĩa.

Các từ phổ biến như 'the', 'a', 'is', thường ít mang thông tin ngữ nghĩa quan trọng cho nhiều tác vụ và có thể gây nhiễu.

Các từ mang cảm xúc tiêu cực cần được loại bỏ để cải thiện phân tích cảm xúc.

Các từ viết tắt cần được mở rộng để chuẩn hóa văn bản.

Tỷ lệ các trường hợp thực tế là tích cực mà mô hình dự đoán đúng là tích cực.

Tỷ lệ các trường hợp mô hình dự đoán là tích cực mà thực sự là tích cực.

Tỷ lệ tổng số trường hợp dự đoán đúng trên tổng số trường hợp.

Mức độ bao phủ của mô hình trên dữ liệu kiểm tra.