Cho mã Cyclic C(7,4) có đa thức sinh là g(x)=1 + x2+ x3 tương ứng đa thức thông tin a(x) = x + x2+ x3. Sử dụng thuật toán 4 bước để thiết lập từ mã hệ thống, sẽ được kết quả nào dưới đây:

H(A) + H(B)

H(A) + H(B) – H(A/B) – H(B/A)

H(A) + H(A/B)

H(B) + H(A/B)

0101110;

0110100;

1110110;

0010111;

Là đại lượng vật lý biến thiên phản ánh tin cần truyền

Là tác động không mong muốn lên hệ thống truyền tin

Thông tin tồn tại một cách chủ quan, phụ thuộc vào hệ thụ cảm

Là tính chất xác định của vật chất mà con người (hoặc hệ thống kỹ thuật) nhận được từ thế giới vật chất bên ngoài

H(A) luôn >= 0 với mọi giá trị p

Nếu p càng lớn thì H(A) càng lớn

H(A) luôn nhỏ hơn 1 với mọi giá trị của p

Không phụ thuộc vào p

n+k

n.2k

k.n

n7

I(A,B) = H(A) khi kênh có nhiễu

0 <= I(A,B) <= H(A)

I(A,B) = H(B) khi kênh có nhiễu

I(A,B) = -H(A) khi kênh có nhiễu