Kỹ thuật "n-gram" được sử dụng để làm gì trong NLP?

Dạng hình ảnh trực quan của từ

Mã nhị phân duy nhất cho mỗi từ

Danh sách các từ đồng nghĩa và trái nghĩa

Vectơ số thực trong không gian nhiều chiều, thể hiện ngữ nghĩa của từ

Phân loại văn bản theo chủ đề

Dịch văn bản từ ngôn ngữ này sang ngôn ngữ khác

Tóm tắt văn bản dài thành văn bản ngắn hơn

Xác định và phân loại các thực thể có tên (ví dụ: người, tổ chức, địa điểm) trong văn bản

Tăng tốc độ tính toán của mạng nơ-ron

Giảm số lượng tham số của mô hình

Cho phép mô hình tập trung vào các phần khác nhau của chuỗi đầu vào khi tạo ra đầu ra, bằng cách gán trọng số khác nhau cho mỗi vị trí đầu vào

Chuẩn hóa dữ liệu đầu vào

Một chuỗi các từ theo thứ tự xuất hiện trong văn bản

Một đồ thị thể hiện mối quan hệ ngữ pháp giữa các từ

Một vectơ tần số từ, trong đó mỗi chiều tương ứng với một từ trong từ vựng

Một mạng lưới các khái niệm và mối liên kết giữa chúng

Tăng số lượng từ trong văn bản

Thay thế từ bằng từ đồng nghĩa

Phân tích cấu trúc ngữ pháp của từ

Đưa các từ về dạng gốc hoặc dạng chuẩn hóa để giảm sự phức tạp và cải thiện hiệu suất mô hình

Dạng văn bản thuần túy

Dạng đồ thị với các nút (thực thể) và cạnh (mối quan hệ) giữa chúng

Dạng bảng cơ sở dữ liệu quan hệ

Dạng cây phân cấp

Đánh giá chất lượng bản dịch

Tăng cường dữ liệu huấn luyện bằng cách tạo ra các cặp câu song ngữ mới từ dữ liệu đơn ngữ

Giảm thiểu lỗi dịch do từ vựng ngoài tập huấn luyện

Cải thiện tốc độ dịch