"Attention mechanism" trong Transformer hoạt động như thế nào?

Dạng hình ảnh trực quan của từ

Mã nhị phân duy nhất cho mỗi từ

Danh sách các từ đồng nghĩa và trái nghĩa

Vectơ số thực trong không gian nhiều chiều, thể hiện ngữ nghĩa của từ

Phân loại văn bản theo chủ đề

Dịch văn bản từ ngôn ngữ này sang ngôn ngữ khác

Tóm tắt văn bản dài thành văn bản ngắn hơn

Xác định và phân loại các thực thể có tên (ví dụ: người, tổ chức, địa điểm) trong văn bản

Một chuỗi các từ theo thứ tự xuất hiện trong văn bản

Một đồ thị thể hiện mối quan hệ ngữ pháp giữa các từ

Một vectơ tần số từ, trong đó mỗi chiều tương ứng với một từ trong từ vựng

Một mạng lưới các khái niệm và mối liên kết giữa chúng

RNN nhanh hơn Transformer trong quá trình huấn luyện

RNN có thể xử lý song song toàn bộ chuỗi đầu vào tốt hơn Transformer

Transformer cho phép mô hình tập trung vào các phần khác nhau của đầu vào một cách linh hoạt, xử lý tốt hơn các phụ thuộc xa trong câu

Transformer không yêu cầu dữ liệu huấn luyện lớn như RNN

Xác định thái độ, cảm xúc (tích cực, tiêu cực, trung lập) được thể hiện trong văn bản

Phân tích cấu trúc ngữ pháp của câu

Tìm kiếm thông tin cụ thể trong văn bản

Đo lường độ dài của văn bản

Tăng số lượng từ trong văn bản

Thay thế từ bằng từ đồng nghĩa

Phân tích cấu trúc ngữ pháp của từ

Đưa các từ về dạng gốc hoặc dạng chuẩn hóa để giảm sự phức tạp và cải thiện hiệu suất mô hình