Trong NLP, 'stop words' thường được loại bỏ để làm gì?

Giảm kích thước mô hình NLP.

Cho phép sử dụng các mô hình ngôn ngữ pre-trained (đã được huấn luyện trước) trên một lượng lớn dữ liệu để nhanh chóng đạt được hiệu suất tốt cho các tác vụ NLP cụ thể với ít dữ liệu huấn luyện hơn.

Tăng tốc độ xử lý văn bản.

Cải thiện khả năng dịch máy.

Không quan trọng, vì Transformer xử lý toàn bộ văn bản cùng một lúc.

Rất quan trọng, nó xác định số lượng từ xung quanh mỗi từ mà mô hình xem xét khi xử lý, ảnh hưởng đến khả năng nắm bắt ngữ cảnh.

Chỉ quan trọng trong giai đoạn tiền xử lý dữ liệu, không ảnh hưởng đến mô hình Transformer.

Chỉ quan trọng đối với các ngôn ngữ có cấu trúc ngữ pháp phức tạp.

Tăng cường khả năng sáng tạo của mô hình NLP.

Giúp con người hiểu được cách mô hình NLP đưa ra quyết định và dự đoán, tăng tính minh bạch và tin cậy của mô hình.

Giảm chi phí tính toán khi huấn luyện mô hình NLP.

Tự động sửa lỗi trong mã nguồn của mô hình NLP.

Phương pháp huấn luyện mô hình NLP trên dữ liệu được tạo ra một cách tự động.

Phương pháp mà mô hình NLP chủ động lựa chọn các mẫu dữ liệu 'hữu ích' nhất để con người gán nhãn, nhằm tối ưu hóa hiệu quả huấn luyện với ít dữ liệu có nhãn.

Phương pháp huấn luyện mô hình NLP liên tục học hỏi từ tương tác với người dùng.

Phương pháp huấn luyện mô hình NLP song song trên nhiều bộ dữ liệu khác nhau.

Phân loại văn bản theo chủ đề.

Nhận diện và phân loại các thực thể có tên trong văn bản (ví dụ: tên người, tổ chức, địa điểm, thời gian).

Phân tích cảm xúc của văn bản.

Dịch văn bản từ ngôn ngữ này sang ngôn ngữ khác.

Tạo ra văn bản tự động.

Lưu trữ và truy vấn thông tin có cấu trúc về các thực thể và mối quan hệ giữa chúng, hỗ trợ các tác vụ như trả lời câu hỏi, suy luận ngữ nghĩa.

Phân tích cảm xúc của văn bản.

Dịch văn bản theo thời gian thực.