Mô hình Transformer, ví dụ như BERT và GPT, dựa trên kiến trúc mạng nơ-ron nào?

Stemming

Lemmatization

Byte-Pair Encoding (BPE) hoặc WordPiece tokenization

Stop word removal

Phân tích cảm xúc của người dùng

Xác định ngôn ngữ người dùng đang sử dụng

Nhận dạng thực thể có tên trong câu hỏi của người dùng

Xác định mục đích hoặc ý định của người dùng đằng sau câu nói của họ

Nhận dạng thực thể có tên (NER)

Phân tích cảm xúc (Sentiment Analysis)

Dịch máy (Machine Translation)

Tóm tắt văn bản (Text Summarization)

Thu thập dữ liệu -> Tiền xử lý văn bản -> Trích xuất đặc trưng -> Huấn luyện mô hình -> Đánh giá mô hình

Huấn luyện mô hình -> Thu thập dữ liệu -> Tiền xử lý văn bản -> Đánh giá mô hình -> Trích xuất đặc trưng

Trích xuất đặc trưng -> Thu thập dữ liệu -> Huấn luyện mô hình -> Tiền xử lý văn bản -> Đánh giá mô hình

Đánh giá mô hình -> Huấn luyện mô hình -> Trích xuất đặc trưng -> Tiền xử lý văn bản -> Thu thập dữ liệu

Đo độ chính xác của mô hình

Đo tốc độ huấn luyện của mô hình

Đo khả năng dự đoán chuỗi từ tiếp theo của mô hình ngôn ngữ; perplexity càng thấp, mô hình càng tốt

Đo kích thước của mô hình ngôn ngữ

Đánh giá chất lượng của bản dịch

Tăng tốc độ dịch

Giảm kích thước mô hình dịch

Tăng cường dữ liệu huấn luyện bằng cách dịch ngược văn bản đơn ngữ sang ngôn ngữ khác rồi dịch lại về ngôn ngữ gốc

Đơn giản hóa quá trình tiền xử lý dữ liệu

Tận dụng kiến thức ngôn ngữ đã học từ lượng lớn dữ liệu, giúp cải thiện hiệu suất và giảm nhu cầu dữ liệu huấn luyện cho các nhiệm vụ cụ thể

Giảm độ phức tạp tính toán khi huấn luyện mô hình

Cải thiện khả năng diễn giải của mô hình