Trình bày các yếu tố chính của dữ liệu lớn.

Khoa học dữ liệu sử dụng internet, điện toán đám mây để lưu trữ và quản lí khối lượng lớn dữ liệu, cho phép sử dụng nguồn lực tính toán mạnh mẽ để xử lí dữ liệu lớn.

Ví dụ 1: Vào năm 2020, GPT-3 của OpenAI đã thu thập khoảng 45 TB dữ liệu thô từ sách, tạp chí, trang web,... với nhiều chủ đề khác nhau. Sau đó, dữ liệu thô được xử lí để tạo ra 570 GB dữ liệu vào cho mô hình học máy. Lượng dữ liệu thô thu thập dùng cho GPT-3 tương đương khoảng 200 000 giờ video Full HD hoặc 15 triệu giờ âm thanh định dạng MP3. Các phiên bản khác nhau của GPT-3 sử dụng từ 125 triệu đến 175 tỉ tham số (phụ thuộc vào số tầng trong mạng học sâu của mô hình). Theo ước tính, việc đào tạo mô hình GPT-3 với 175 tỉ tham số cần hàng trăm năm với 1 GPU V100. Để giảm thời huấn luyện mô hình học máy, OpenAI đã sử dụng 1024 GPU NVIDIA A100 để huấn luyện mô hình GPT-3 trong 34 ngày.

Ví dụ 2: Protein là nhân tố thiết yếu cho sự sống được hình thành từ các amino axit, sau đó trải qua quá trình gấp xoắn để hình thành cấu trúc 3D phức tạp. Chức năng của protein phụ thuộc chủ yếu vào cấu trúc 3D của nó. Trong nhiều thập kỉ, các nhà nghiên cứu đã giải mã cấu trúc 3D của protein bằng cách sử dụng các kĩ thuật như tinh thể học tia X (X-ray crystallography) hoặc kính hiển vi điện tử lạnh (Cryogenic electron microscopy viết tắt là Cryo-EM) và đã giải được cấu trúc của 170 000 protein trong số khoảng 200 triệu protein. Theo ước tính, để dự đoán cấu trúc một protein dựa trên phương pháp tinh thể học tia X cần từ vài tháng đến hàng năm.