Vấn đề gì có thể xảy ra nếu fine-tune quá nhiều lớp?

Chi phí tính toán cao với hình ảnh lớn

Không thể xử lý hình ảnh

Không hỗ trợ phân loại

Yêu cầu dữ liệu văn bản

Các vùng đề xuất

Các patch (mảng nhỏ)

Các kênh màu

Các đặc trưng cạnh

CNN

RNN

Transformer

Fully connected layer

Trích xuất đặc trưng hình ảnh

Sinh chuỗi văn bản

Tăng cường dữ liệu

Giảm kích thước hình ảnh

Tăng tốc độ xử lý hình ảnh

Tập trung vào các vùng quan trọng khi sinh từ

Loại bỏ nhiễu hình ảnh

Giảm số lượng từ trong chú thích

Đánh giá chất lượng chú thích

Tăng cường dữ liệu

Tính toán gradient

Giảm kích thước mô hình

ViT sử dụng cơ chế attention thay vì convolution

ViT chỉ xử lý văn bản

ViT không sử dụng hàm kích hoạt

ViT không cần dữ liệu hình ảnh