Trong NLP, 'perplexity' là một thước đo đánh giá điều gì?

Mô hình được huấn luyện trên dữ liệu quá lớn.

Mô hình học quá kỹ dữ liệu huấn luyện, dẫn đến hiệu suất kém trên dữ liệu mới.

Mô hình quá đơn giản và không đủ khả năng học các mẫu phức tạp.

Dữ liệu huấn luyện không đủ đa dạng.

BLEU (Bilingual Evaluation Understudy).

ROUGE (Recall-Oriented Understudy for Gisting Evaluation).

Perplexity.

METEOR (Metric for Evaluation of Translation with Explicit Ordering).

Tốc độ tính toán của máy tính quá chậm.

Sự mơ hồ và đa dạng của ngôn ngữ loài người (ví dụ: từ đồng âm, nghĩa bóng, ngữ cảnh).

Thiếu dữ liệu văn bản để huấn luyện mô hình.

Giao diện người dùng của các công cụ NLP quá phức tạp.

Phát triển phần cứng máy tính nhanh hơn.

Tương tác giữa máy tính và ngôn ngữ loài người.

Thiết kế cơ sở dữ liệu lớn.

Xây dựng hệ thống mạng phức tạp.

Chuyển đổi văn bản thành giọng nói.

Phân chia văn bản thành các đơn vị nhỏ hơn như từ hoặc cụm từ.

Loại bỏ các từ dừng (stop words) khỏi văn bản.

Gán nhãn ngữ pháp cho các từ trong câu.

Dự đoán từ tiếp theo trong câu.

Phát hiện các chủ đề ẩn trong một tập hợp văn bản.

Phân tích cảm xúc của văn bản.

Dịch văn bản sang ngôn ngữ khác.

Dịch từ sang ngôn ngữ khác.

Xác định nghĩa đúng của một từ trong ngữ cảnh cụ thể, đặc biệt khi từ đó có nhiều nghĩa.

Loại bỏ các từ không quan trọng khỏi văn bản.

Tìm từ đồng nghĩa và trái nghĩa.