Cho nguồn tin X = {x1, x2, x3} với các xác suất lần lượt là {1/2, 1/4, 1/4}. Entropy của nguồn tin H(X) được tính là:

Nội dung của định lý mã hoá thứ nhất của Shannon (đối với mã nhị phân) được phát biểu như sau: "Luôn luôn có thể xây dựng được một phép mã hoá các tin rời rạc có hiệu quả mà độ dài trung bình của từ mã có thể nhỏ tuỳ ý, nhưng không nhỏ hơn entropie xác định bởi các đặc tính thống kê của nguồn" . Chọn câu đúng về độ dài từ mã:

Cho mã Cyclic C(7,4) có đa thức sinh là g(x)=1 + x + x3 tương ứng đa thức thông tin a(x) = 1 + x . Sử dụng thuật toán 4 bước để thiết lập từ mã hệ thống, sẽ được kết quả nào dưới đây:

Cho mã Cyclic C(7,4) có đa thức sinh là g(x)=1 + x2+ x3 tương ứng đa thức thông tin a(x) = x2. Sử dụng thuật toán 4 bước để thiết lập từ mã hệ thống, sẽ được kết quả nào dưới đây:

Cho bảng mã W = {01,00,0010,0111,0110}

Cho chuỗi bit cần truyền 1111010. Hệ thống sử dụng mã phát hiện lỗi CRC với đa thức sinh P = x^3 + 1. Chuỗi phát đi là

Yêu cầu của phép mã hóa: những từ mã có độ dài nhỏ hơn không trùng với phần đầu của từ mã có độ dài lớn hơn Các tin có xác suất xuất hiện lớn hơn được mã hóa bằng các từ mã có độ dài nhỏ và ngược lại. Cho nguồn tin X = {x1,x2,x3,x4,x5} với các xác suất lần lượt là {1/2, 1/4, 1/8, 1/16, 1/16}. Biết x1 được mã hóa thành 0; x2 được mã hóa thành 10. Chọn câu đúng dưới đây để mã hóa cho x3:

Entropy của trường biến cố đồng thời H(AB) được tính bằng công thức nào sau đây: