Mô hình Transformer, đặc biệt là kiến trúc Transformer, đã cách mạng hóa lĩnh vực NLP như thế nào?

Extractive summarization tạo ra bản tóm tắt ngắn hơn bản gốc, còn abstractive summarization tạo ra bản tóm tắt dài hơn

Abstractive summarization tập trung vào việc tóm tắt các văn bản khoa học, còn extractive summarization phù hợp với văn bản báo chí

Extractive summarization cần dữ liệu huấn luyện song ngữ, còn abstractive summarization chỉ cần dữ liệu đơn ngữ

Extractive summarization chọn lọc và kết hợp các câu hoặc đoạn quan trọng từ văn bản gốc, còn abstractive summarization diễn giải lại và tạo ra bản tóm tắt bằng cách sử dụng từ ngữ và cấu trúc câu mới

Few-shot learning cho phép mô hình học từ một số lượng nhỏ ví dụ huấn luyện cho nhiệm vụ mới, trong khi zero-shot learning không sử dụng bất kỳ ví dụ huấn luyện nào cho nhiệm vụ mới

Zero-shot learning chỉ áp dụng cho các bài toán phân loại văn bản, còn few-shot learning có thể áp dụng cho nhiều loại bài toán NLP khác nhau

Few-shot learning sử dụng mô hình Transformer, còn zero-shot learning sử dụng các mô hình thống kê truyền thống

Không có sự khác biệt nào đáng kể giữa few-shot learning và zero-shot learning

Một loại mô hình ngôn ngữ được huấn luyện trên dữ liệu văn bản khổng lồ

Một mạng lưới các thực thể (ví dụ: người, địa điểm, sự kiện) và mối quan hệ giữa chúng, được sử dụng để lưu trữ và truy xuất tri thức, hỗ trợ các ứng dụng như hỏi đáp tự động, suy luận, và khám phá tri thức

Một kỹ thuật giảm chiều dữ liệu văn bản bằng cách loại bỏ các thông tin không liên quan

Một phương pháp đánh giá hiệu suất của mô hình dịch máy

Hệ thống QA dịch câu hỏi sang ngôn ngữ khác và tìm kiếm câu trả lời trong các văn bản dịch

Hệ thống QA tạo ra câu trả lời mới dựa trên thông tin được học từ tập dữ liệu huấn luyện lớn

Hệ thống QA phân tích câu hỏi và tìm kiếm thông tin liên quan trong một nguồn dữ liệu (ví dụ: tập văn bản, cơ sở tri thức) để trích xuất hoặc tổng hợp câu trả lời

Hệ thống QA sử dụng các quy tắc ngữ pháp và từ vựng để trả lời câu hỏi một cách chính xác

Mô hình học cách dịch giữa hai ngôn ngữ mà không cần dữ liệu song ngữ

Mô hình có thể thực hiện nhiệm vụ phân tích cảm xúc mà không cần bất kỳ dữ liệu huấn luyện nào

Mô hình có khả năng thực hiện các nhiệm vụ hoặc phân loại các đối tượng mà nó chưa từng được huấn luyện trực tiếp trên dữ liệu của nhiệm vụ/đối tượng đó, dựa trên sự hiểu biết về ngôn ngữ và thế giới

Mô hình chỉ sử dụng dữ liệu không nhãn để học biểu diễn ngôn ngữ

Tách từ (Tokenization)

Stemming (Cắt gốc từ)

Lemmatization (Lemma hóa)

Loại bỏ từ dừng (Stop word removal)

Độ phức tạp tính toán của mô hình ngôn ngữ, đo lường thời gian cần thiết để huấn luyện mô hình

Đo lường khả năng dự đoán của mô hình ngôn ngữ, perplexity thấp hơn cho thấy mô hình dự đoán tốt hơn (ít "bối rối" hơn) về chuỗi văn bản

Số lượng tham số trong mô hình ngôn ngữ, perplexity cao hơn cho thấy mô hình có nhiều tham số hơn

Tỷ lệ lỗi chính tả và ngữ pháp trong văn bản do mô hình ngôn ngữ tạo ra