Vấn đề gì có thể xảy ra nếu chú thích quá dài?

Dữ liệu hình ảnh

Dữ liệu chuỗi (sequential data)

Dữ liệu đồ thị

Dữ liệu tĩnh

Lưu trữ thông tin từ các bước thời gian trước

Tính toán gradient

Giảm kích thước dữ liệu

Tăng cường đặc trưng

Huấn luyện mô hình

Tăng cường dữ liệu

Giảm kích thước hình ảnh

Phân loại đối tượng

Quên thông tin từ các bước đầu tiên

Tăng chi phí tính toán không cần thiết

Không thể hội tụ

Tạo ra nhiễu

Encoder trích xuất đặc trưng, decoder sinh chú thích

Encoder sinh chú thích, decoder trích xuất đặc trưng

Cả hai đều trích xuất đặc trưng

Cả hai đều sinh chú thích

Tanh hoặc Sigmoid

ReLU

Softmax

Linear

CNN

Transformer

Autoencoder

SVM