Hàm kích hoạt nào thường được sử dụng trong các cổng của LSTM?

Encoder trích xuất đặc trưng, decoder sinh chú thích

Encoder sinh chú thích, decoder trích xuất đặc trưng

Cả hai đều trích xuất đặc trưng

Cả hai đều sinh chú thích

Quên thông tin từ các bước đầu tiên

Tăng chi phí tính toán không cần thiết

Không thể hội tụ

Tạo ra nhiễu

Tanh hoặc Sigmoid

ReLU

Softmax

Linear

CNN

Transformer

Autoencoder

SVM

Dự đoán chuỗi thời gian tài chính

Phát hiện đối tượng trong hình ảnh

Tăng cường hình ảnh

Phân loại đồ thị

Vanishing gradient

Overfitting

Underfitting

Chi phí tính toán cao

Lưu trữ thông tin dài hạn qua các bước thời gian

Tính toán gradient

Giảm kích thước dữ liệu

Tăng cường đặc trưng