Học sinh A có thành tích 12 năm liền đạt danh hiệu học sinh Giỏi, học sinh B học lực kém. Thi tốt nghiệp phổ thông trung học, học sinh A trượt, học sinh B đỗ thủ khoa. Thông tin về học sinh B đỗ thủ khoa, học sinh A trượt có độ bất định là:

Nguồn tin là nơi sản sinh ra tin

Nguồn tin là tập hợp các tin có xác suất và ký hiệu như nhau

Nguồn tin liên tục sinh ra tập tin rời rạc

Nguồn tin rời rạc sinh ra tập tin liên tục

Số bit truyền qua 1 điểm của kênh truyền trên 1 giây

Băng thông của kênh truyền

Dải tần số của tín hiệu cho phép đi qua kênh truyền mà có độ suy giảm không quá 3 dB

Tốc độ của kênh truyền

H(A/B) <= H(B/A)

0 <= H(A/B)

H(A) >= H(A/B)

H(A/B) <= H(A)

Méo trễ lan truyền

Nhiễu

Sự suy giảm cường độ

Tất cả các yếu tố trên

Độ bất định của phép chọn tỷ lệ nghịch với xác suất chọn một phần tử

Độ bất định gắn liền với bản chất ngẫu nhiên của phép chọn

Độ bất định của một phần tử có giá trị 1 bít khi xác suất chọn phần tử đó là 1

Độ bất định còn được gọi là lượng thông tin riêng của biến cố tin

Chọn k=1 ta có I(xk) = ln p(xk)

Chọn k=-1 ta có I(xk) = -ln p(xk)

Chọn k=-(1/ln10) ta có I(xk) = -lg p(xk)

Chọn k=-(1/ln2) ta có I(xk) = -log2 p(xk)