Transfer Learning giúp giảm điều gì trong huấn luyện mô hình?

ImageNet

MNIST

CIFAR-10

MS COCO

ViT sử dụng cơ chế attention thay vì convolution

ViT chỉ xử lý văn bản

ViT không sử dụng hàm kích hoạt

ViT không cần dữ liệu hình ảnh

Tăng cường chất lượng hình ảnh

Thêm thông tin vị trí cho các patch

Giảm kích thước đặc trưng

Tính toán gradient

Tăng cường chất lượng hình ảnh

Tạo văn bản mô tả nội dung hình ảnh

Phát hiện đối tượng trong hình ảnh

Phân loại hình ảnh

Nhận diện bệnh lý trong hình ảnh y tế

Phân tích cảm xúc văn bản

Dự đoán thời tiết

Nhận diện giọng nói

Khi có ít dữ liệu và tác vụ tương tự

Khi có dữ liệu lớn và thời gian không giới hạn

Khi mô hình gốc không hiệu quả

Khi cần tạo mô hình mới hoàn toàn