230+ câu trắc nghiệm Mạng nơ-ron nhân tạo có đáp án - Phần 4

ViT sử dụng cơ chế attention thay vì convolution

ViT chỉ xử lý văn bản

ViT không sử dụng hàm kích hoạt

ViT không cần dữ liệu hình ảnh

Các vùng đề xuất

Các patch (mảng nhỏ)

Các kênh màu

Các đặc trưng cạnh

Tăng cường chất lượng hình ảnh

Thêm thông tin vị trí cho các patch

Giảm kích thước đặc trưng

Tính toán gradient

Dữ liệu huấn luyện rất lớn

Dữ liệu văn bản

Dữ liệu âm thanh

Mô hình đơn giản hơn

Tính toán tương quan giữa các patch

Tăng cường độ tương phản hình ảnh

Loại bỏ nhiễu hình ảnh

Giảm số lượng patch

[CLS] token

Fully connected layer

Convolutional layer

Recurrent layer

Chi phí tính toán cao với hình ảnh lớn

Không thể xử lý hình ảnh

Không hỗ trợ phân loại

Yêu cầu dữ liệu văn bản

Phân loại hình ảnh

Phát hiện đối tượng

Phân đoạn hình ảnh

Tất cả các nhiệm vụ trên

ImageNet hoặc JFT-300M

MNIST

CIFAR-10

MS COCO

Nhận diện bệnh lý trong hình ảnh y tế

Phân tích cảm xúc văn bản

Dự đoán thời tiết

Nhận diện giọng nói

Khi có lượng dữ liệu lớn và thời gian huấn luyện không giới hạn

Khi dữ liệu mới hạn chế và tác vụ tương tự tác vụ gốc

Khi không cần mô hình được huấn luyện trước

Khi dữ liệu hoàn toàn không liên quan

Vì chúng trích xuất đặc trưng cấp thấp như cạnh, góc

Vì chúng có ít tham số hơn

Vì chúng không ảnh hưởng đến hiệu suất

Vì chúng dễ huấn luyện hơn

Các lớp đầu tiên của mô hình

Các lớp cuối hoặc lớp fully connected

Toàn bộ mô hình

Chỉ lớp đầu ra

Thời gian huấn luyện và nhu cầu dữ liệu

Số lượng lớp ẩn

Độ phức tạp của dữ liệu

Kích thước đầu ra

Xử lý hình ảnh

Xử lý ngôn ngữ tự nhiên (NLP)

Nhận diện giọng nói

Phân tích dữ liệu thời gian thực

Khi có ít dữ liệu và tác vụ tương tự

Khi có dữ liệu lớn và thời gian không giới hạn

Khi mô hình gốc không hiệu quả

Khi cần tạo mô hình mới hoàn toàn

Overfitting trên dữ liệu mới

Underfitting trên dữ liệu gốc

Tăng chi phí tính toán không cần thiết

Mất đặc trưng cấp cao

Hình ảnh, văn bản, âm thanh

Chỉ hình ảnh

Chỉ văn bản

Chỉ âm thanh

ImageNet

MNIST

CIFAR-10

MS COCO

Phân loại hình ảnh y tế với ít dữ liệu

Phân tích dữ liệu thời tiết lớn

Tạo âm thanh tổng hợp

Dự đoán giá cổ phiếu

Tăng cường chất lượng hình ảnh

Tạo văn bản mô tả nội dung hình ảnh

Phát hiện đối tượng trong hình ảnh

Phân loại hình ảnh

CNN

RNN

Transformer

Fully connected layer

Trích xuất đặc trưng hình ảnh

Sinh chuỗi văn bản

Tăng cường dữ liệu

Giảm kích thước hình ảnh

Tăng tốc độ xử lý hình ảnh

Tập trung vào các vùng quan trọng khi sinh từ

Loại bỏ nhiễu hình ảnh

Giảm số lượng từ trong chú thích

Đánh giá chất lượng chú thích

Tăng cường dữ liệu

Tính toán gradient

Giảm kích thước mô hình