Chọn ngẫu nhiên một trong các số từ 0 đến 7 có xác suất như nhau. Độ bất định của số được chọn ngẫu nhiên là:

Số từ mã nhỏ nhất

Số từ mã không đổi

Chiều dài trung bình của các từ mã nhỏ hơn hoặc bằng entropy của nguồn

Chiều dài trung bình các từ mã nhỏ nhất trong tất cả các cách mã hóa

H(A) + H(A/B)

H(A) + H(B)

H(A) + H(B) – H(A/B) – H(B/A)

H(B) + H(A/B)

0101110;

0110100;

1110110;

0010111;

I(A,B) = -H(A) khi kênh có nhiễu

0 <= I(A,B) <= H(A)

I(A,B) = H(B) khi kênh có nhiễu

I(A,B) = H(A) khi kênh có nhiễu

k.n

n

n.2k

n+k

1

2

5

4

Mã hệ thống tuyến tính (n,k) là mã tuyến tính độ dài n trong đó ta có thể chỉ ra được vị trí của k-1 dấu thông tin trong từ mã

Mã hệ thống tuyến tính (n,k) là mã tuyến tính độ dài n trong đó ta có thể chỉ ra được vị trí của k dấu thông tin trong từ mã

Mã hệ thống tuyến tính (n,k) là mã tuyến tính độ dài n trong đó ta có thể chỉ ra được vị trí của n-k dấu thông tin trong từ mã

Mã hệ thống tuyến tính (n,k) là mã tuyến tính độ dài n trong đó ta có thể chỉ ra được vị trí của r = n - k dấu thông tin trong từ mã