Sự khác biệt chính giữa Stemming và Lemmatization là gì?

Mô hình học quá tốt trên dữ liệu huấn luyện nhưng kém hiệu quả trên dữ liệu mới (dữ liệu kiểm tra).

Mô hình không học được gì từ dữ liệu huấn luyện.

Mô hình xử lý dữ liệu quá chậm.

Mô hình yêu cầu quá nhiều bộ nhớ để hoạt động.

Phân tích cú pháp câu.

Dự đoán từ hoặc chuỗi từ tiếp theo có khả năng xuất hiện trong một ngữ cảnh nhất định.

Tìm kiếm thông tin trong văn bản.

Chuyển đổi văn bản thành chữ viết tay.

Tỷ lệ các trường hợp thực tế là tích cực mà mô hình dự đoán đúng là tích cực.

Tỷ lệ các trường hợp mô hình dự đoán là tích cực mà thực sự là tích cực.

Tỷ lệ tổng số trường hợp dự đoán đúng trên tổng số trường hợp.

Mức độ bao phủ của mô hình trên dữ liệu kiểm tra.

Contextual word embeddings có kích thước vector nhỏ hơn.

Contextual word embeddings tạo ra biểu diễn vector khác nhau cho cùng một từ tùy thuộc vào ngữ cảnh sử dụng của nó trong câu, trong khi word embeddings tĩnh luôn cho ra một vector duy nhất cho mỗi từ.

Word embeddings tĩnh có thể nắm bắt ngữ cảnh tốt hơn.

Contextual word embeddings dễ huấn luyện hơn.

Khả năng mô hình xử lý ngôn ngữ tự nhiên một cách nhanh chóng.

Khả năng hiểu được cách mô hình NLP đưa ra quyết định hoặc dự đoán, giúp tin tưởng và cải thiện mô hình.

Khả năng mô hình dịch văn bản sang nhiều ngôn ngữ khác nhau.

Khả năng mô hình tự động sửa lỗi chính tả trong văn bản.

Khả năng xử lý song song nhanh chóng.

Khả năng ghi nhớ thông tin từ các bước thời gian trước đó, phù hợp với tính tuần tự của ngôn ngữ.

Cấu trúc đơn giản và dễ huấn luyện.

Hiệu quả trong việc xử lý dữ liệu phi cấu trúc.

Chuyển đổi văn bản thành giọng nói.

Chia văn bản thành các đơn vị nhỏ hơn, chẳng hạn như từ hoặc cụm từ.

Loại bỏ các từ dừng (stop words) khỏi văn bản.

Gán nhãn từ loại (POS tagging) cho mỗi từ trong văn bản.