Vấn đề gì có thể xảy ra nếu fine-tune quá nhiều lớp?

ImageNet

MNIST

CIFAR-10

MS COCO

ViT sử dụng cơ chế attention thay vì convolution

ViT chỉ xử lý văn bản

ViT không sử dụng hàm kích hoạt

ViT không cần dữ liệu hình ảnh

Tăng cường chất lượng hình ảnh

Thêm thông tin vị trí cho các patch

Giảm kích thước đặc trưng

Tính toán gradient

Tăng cường chất lượng hình ảnh

Tạo văn bản mô tả nội dung hình ảnh

Phát hiện đối tượng trong hình ảnh

Phân loại hình ảnh

Nhận diện bệnh lý trong hình ảnh y tế

Phân tích cảm xúc văn bản

Dự đoán thời tiết

Nhận diện giọng nói

Khi có ít dữ liệu và tác vụ tương tự

Khi có dữ liệu lớn và thời gian không giới hạn

Khi mô hình gốc không hiệu quả

Khi cần tạo mô hình mới hoàn toàn

Thời gian huấn luyện và nhu cầu dữ liệu

Số lượng lớp ẩn

Độ phức tạp của dữ liệu

Kích thước đầu ra