Kỹ thuật 'Backpropagation' được sử dụng để làm gì trong huấn luyện mạng nơ-ron cho NLP?

Mô hình được huấn luyện trên dữ liệu quá lớn.

Mô hình học quá kỹ dữ liệu huấn luyện, dẫn đến hiệu suất kém trên dữ liệu mới.

Mô hình quá đơn giản và không đủ khả năng học các mẫu phức tạp.

Dữ liệu huấn luyện không đủ đa dạng.

Độ chính xác của việc phân loại văn bản.

Khả năng dự đoán từ tiếp theo của một mô hình ngôn ngữ (perplexity thấp hơn thì mô hình tốt hơn).

Tốc độ xử lý văn bản của mô hình.

Mức độ phức tạp của mô hình.

Giảm kích thước dữ liệu văn bản.

Nắm bắt thông tin về trình tự từ bằng cách xem xét chuỗi n từ liên tiếp.

Phân tích cảm xúc của từng từ riêng lẻ.

Dịch văn bản theo từng từ.

BLEU (Bilingual Evaluation Understudy).

ROUGE (Recall-Oriented Understudy for Gisting Evaluation).

Perplexity.

METEOR (Metric for Evaluation of Translation with Explicit Ordering).

Tốc độ tính toán của máy tính quá chậm.

Sự mơ hồ và đa dạng của ngôn ngữ loài người (ví dụ: từ đồng âm, nghĩa bóng, ngữ cảnh).

Thiếu dữ liệu văn bản để huấn luyện mô hình.

Giao diện người dùng của các công cụ NLP quá phức tạp.

Phát triển phần cứng máy tính nhanh hơn.

Tương tác giữa máy tính và ngôn ngữ loài người.

Thiết kế cơ sở dữ liệu lớn.

Xây dựng hệ thống mạng phức tạp.

Chuyển đổi văn bản thành giọng nói.

Phân chia văn bản thành các đơn vị nhỏ hơn như từ hoặc cụm từ.

Loại bỏ các từ dừng (stop words) khỏi văn bản.

Gán nhãn ngữ pháp cho các từ trong câu.