Інформаційна Ємність

Ця стаття відноситься до групи довідкових статей для студентів ФІН.

Інформаційна ємність ("self-information", "information content") показує міру інформації випадкової величини.

За визначенням, залежить лише від ймовірнісного розподілу. Чим менша ймовірність події, тим більша інформаційна ємність отриманої інформації про настання події.

Нехай x - випадкова величина, p_i - ймовірність.

h(x_i) = − log_b(p_i) = log_b(1 / p_i)

Вимірюється в інформаційних одиницях, залежно від основи логарифму: якщо b = 2 - в бітах.

також чит. Hartley function