Trong Image Captioning, LSTM thường được sử dụng để làm gì?

Chi phí tính toán cao với hình ảnh lớn

Không thể xử lý hình ảnh

Không hỗ trợ phân loại

Yêu cầu dữ liệu văn bản

Các vùng đề xuất

Các patch (mảng nhỏ)

Các kênh màu

Các đặc trưng cạnh

CNN

RNN

Transformer

Fully connected layer

Tăng tốc độ xử lý hình ảnh

Tập trung vào các vùng quan trọng khi sinh từ

Loại bỏ nhiễu hình ảnh

Giảm số lượng từ trong chú thích

ViT sử dụng cơ chế attention thay vì convolution

ViT chỉ xử lý văn bản

ViT không sử dụng hàm kích hoạt

ViT không cần dữ liệu hình ảnh

Nhận diện bệnh lý trong hình ảnh y tế

Phân tích cảm xúc văn bản

Dự đoán thời tiết

Nhận diện giọng nói

Xử lý hình ảnh

Xử lý ngôn ngữ tự nhiên (NLP)

Nhận diện giọng nói

Phân tích dữ liệu thời gian thực