ViT có thể được sử dụng cho nhiệm vụ nào?

Chi phí tính toán cao với hình ảnh lớn

Không thể xử lý hình ảnh

Không hỗ trợ phân loại

Yêu cầu dữ liệu văn bản

Các vùng đề xuất

Các patch (mảng nhỏ)

Các kênh màu

Các đặc trưng cạnh

CNN

RNN

Transformer

Fully connected layer

Nhận diện bệnh lý trong hình ảnh y tế

Phân tích cảm xúc văn bản

Dự đoán thời tiết

Nhận diện giọng nói

Trích xuất đặc trưng hình ảnh

Sinh chuỗi văn bản

Tăng cường dữ liệu

Giảm kích thước hình ảnh

Tăng tốc độ xử lý hình ảnh

Tập trung vào các vùng quan trọng khi sinh từ

Loại bỏ nhiễu hình ảnh

Giảm số lượng từ trong chú thích

Đánh giá chất lượng chú thích

Tăng cường dữ liệu

Tính toán gradient

Giảm kích thước mô hình