Trong kiến trúc Transformer, cơ chế "Attention" (chú ý) đóng vai trò quan trọng như thế nào?

Phân tích cảm xúc và thái độ trong văn bản

Dịch văn bản từ ngôn ngữ này sang ngôn ngữ khác

Tóm tắt nội dung chính của văn bản

Xác định và phân loại các thực thể có tên trong văn bản, như tên người, tổ chức, địa điểm, thời gian, v.v.

Lemmatization

Tokenization

Stemming

Parsing

Xác định chủ đề chính của văn bản

Phân loại văn bản dựa trên tình cảm

Xác định cấu trúc ngữ pháp và mối quan hệ phụ thuộc giữa các từ trong câu

Chuyển đổi văn bản thành dạng số để xử lý bằng máy

Một tập hợp không có thứ tự các từ, trong đó chỉ quan tâm đến tần suất xuất hiện của mỗi từ

Một chuỗi các vectơ từ được sắp xếp theo thứ tự xuất hiện trong văn bản

Một đồ thị biểu diễn mối quan hệ ngữ nghĩa giữa các từ

Một cây cú pháp thể hiện cấu trúc câu

Khoảng cách Euclidean lớn giữa vectơ biểu diễn của chúng

Góc nhỏ hoặc cosine similarity cao giữa vectơ biểu diễn của chúng

Tần suất xuất hiện cùng nhau của chúng trong văn bản

Vị trí tương đối của chúng trong câu

Phân tích cấu trúc cú pháp của câu

Xác định các thực thể có tên trong văn bản

Dự đoán xác suất xuất hiện của một từ hoặc một chuỗi từ trong một ngữ cảnh nhất định

Phân loại văn bản theo chủ đề

Cả hai đều chuyển đổi văn bản thành dạng số

Cả hai đều xác định cấu trúc ngữ pháp của câu

Cả hai đều loại bỏ các từ dừng (stop words) khỏi văn bản

Cả hai đều cố gắng đưa các từ về dạng gốc hoặc dạng cơ bản của chúng