Giả sử sau khi thực hiện mã hóa nguồn rời rạc A. Ta có kết quả mã hoá như hình dưới đây. Giải mã cho dãy bít nhận được có dạng 1111001101011110011000 sẽ được kết quả nào sau đây:

Số từ mã nhỏ nhất

Số từ mã không đổi

Chiều dài trung bình của các từ mã nhỏ hơn hoặc bằng entropy của nguồn

Chiều dài trung bình các từ mã nhỏ nhất trong tất cả các cách mã hóa

H(A) + H(A/B)

H(A) + H(B)

H(A) + H(B) – H(A/B) – H(B/A)

H(B) + H(A/B)

0101110;

0110100;

1110110;

0010111;

I(A,B) = -H(A) khi kênh có nhiễu

0 <= I(A,B) <= H(A)

I(A,B) = H(B) khi kênh có nhiễu

I(A,B) = H(A) khi kênh có nhiễu

1

2

5

4

Mã hệ thống tuyến tính (n,k) là mã tuyến tính độ dài n trong đó ta có thể chỉ ra được vị trí của k-1 dấu thông tin trong từ mã

Mã hệ thống tuyến tính (n,k) là mã tuyến tính độ dài n trong đó ta có thể chỉ ra được vị trí của k dấu thông tin trong từ mã

Mã hệ thống tuyến tính (n,k) là mã tuyến tính độ dài n trong đó ta có thể chỉ ra được vị trí của n-k dấu thông tin trong từ mã

Mã hệ thống tuyến tính (n,k) là mã tuyến tính độ dài n trong đó ta có thể chỉ ra được vị trí của r = n - k dấu thông tin trong từ mã

Nếu m = 2 thì bộ mã tương ứng được gọi là mã nhị phân

Nếu m = 3 thì bộ mã tương ứng được gọi là mã tam phân

Nếu m = 0 thì bộ mã tương ứng được gọi là mã đều

Nếu m = p thì bộ mã tương ứng được gọi là mã p phân