Ứng dụng thực tế nào phù hợp với ViT?

ImageNet

MNIST

CIFAR-10

MS COCO

ViT sử dụng cơ chế attention thay vì convolution

ViT chỉ xử lý văn bản

ViT không sử dụng hàm kích hoạt

ViT không cần dữ liệu hình ảnh

Tăng cường chất lượng hình ảnh

Thêm thông tin vị trí cho các patch

Giảm kích thước đặc trưng

Tính toán gradient

Tăng cường chất lượng hình ảnh

Tạo văn bản mô tả nội dung hình ảnh

Phát hiện đối tượng trong hình ảnh

Phân loại hình ảnh

Thời gian huấn luyện và nhu cầu dữ liệu

Số lượng lớp ẩn

Độ phức tạp của dữ liệu

Kích thước đầu ra

Khi có ít dữ liệu và tác vụ tương tự

Khi có dữ liệu lớn và thời gian không giới hạn

Khi mô hình gốc không hiệu quả

Khi cần tạo mô hình mới hoàn toàn