Mục đích chính của việc 'tách từ' (tokenization) trong NLP là gì?

Phân tích cấu trúc ngữ pháp của câu.

Xác định và phân loại các thực thể có tên riêng trong văn bản (ví dụ: tên người, tổ chức, địa điểm).

Tìm ra mối quan hệ giữa các câu trong văn bản.

Tóm tắt nội dung chính của văn bản.

Tách từ (Tokenization).

Chuẩn hóa văn bản (Normalization).

Phân tích cảm xúc (Sentiment Analysis).

Loại bỏ stop words.

Mô hình được huấn luyện mà không cần bất kỳ dữ liệu huấn luyện nào.

Mô hình có khả năng thực hiện các tác vụ hoặc phân loại các lớp mà nó chưa từng được huấn luyện trực tiếp trên dữ liệu của các lớp đó.

Mô hình được huấn luyện trên dữ liệu tổng hợp.

Mô hình chỉ được huấn luyện trên một lượng dữ liệu rất nhỏ.

Các từ mang ý nghĩa quan trọng nhất trong văn bản.

Các từ phổ biến, ít mang lại thông tin ngữ nghĩa trong nhiều ngữ cảnh, và thường được loại bỏ.

Các từ khóa được sử dụng để tìm kiếm thông tin.

Các từ mới xuất hiện gần đây trong ngôn ngữ.

Biểu diễn văn bản dưới dạng đồ thị.

Lưu trữ và quản lý thông tin dưới dạng các thực thể và mối quan hệ giữa chúng, hỗ trợ suy luận và trả lời câu hỏi.

Phân tích mạng xã hội.

Trực quan hóa dữ liệu văn bản.

Phân tích cấu trúc ngữ pháp của câu.

Tìm ra các thực thể có tên riêng trong văn bản.

Chuẩn hóa các từ về dạng gốc của chúng.

Đếm tần suất xuất hiện của các từ trong văn bản.

Số lượng từ vựng ít hơn.

Ngữ pháp đơn giản hơn.

Tính đa dạng về phương ngữ và cách diễn đạt vùng miền.

Ít tài liệu và nguồn dữ liệu huấn luyện hơn.