• ТеорияПрактика
• Сам.раб.
• Тесты
• Технология
Вятская государственная сельскохозяйственная академия

Шельпякова Валерия Игоревна
Шишкина Александра Ивановна
Дьячков Валерий Павлович

Электронный образовательный комплекс «Информатика»

3.4. Методы измерения информации

3.4.1 Формула Шеннона

Информационная энтропия — мера хаотичности информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.Информационная энтропия для независимых случайных событий с невозможными состояниями рассчитывается по формуле:

где Н(х) – энтропия Шеннона, P_i - вероятность некоторого события, n - кол-во событий.

Таким образом, энтропия события x является суммой с противоположным знаком всех произведений относительных частот появления события i, умноженных на их же двоичные логарифмы (основание 2 выбрано только для удобства работы с информацией, представленной в двоичной форме). Это определение для дискретных случайных событий можно расширить для функции распределения вероятностей.

Определение по Шеннону

Шеннон предположил, что прирост информации равен утраченной неопределённости, и задал требования к её измерению:

1. Мера должна быть непрерывной; то есть изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение функции;
2. В случае, когда все варианты (буквы в приведённом примере) равновероятны, увеличение количества вариантов (букв) должно всегда увеличивать значение функции;
3. Должна быть возможность сделать выбор (в нашем примере букв) в два шага, в которых значение функции конечного результата должно являться суммой функций промежуточных результатов.

Шеннон показал, что единственная функция, удовлетворяющая этим требованиям, имеет вид:

где K — константа (и в действительности нужна только для выбора единиц измерения),p_i — вероятность того, что именно i-е сообщение выделено в наборе из n сообщений.

Шеннон определил, что измерение энтропии (), применяемое к источнику информации, может определить требования к минимальной пропускной способности канала, требуемой для надёжной передачи информации в виде закодированных двоичных чисел. Для вывода формулы Шеннона необходимо вычислить математическое ожидание «количества информации», содержащегося в цифре из источника информации. Мера энтропии Шеннона выражает неуверенность реализации случайной переменной. Таким образом, энтропия является разницей между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. Примером этого является избыточность языка — имеются явные статистические закономерности в появлении букв, пар последовательных букв, троек и т. д.

3.4.2 Формула Хартли

Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N.

Формула Хартли определяется через двоичный (1)и десятичный (2) логарифмы:

1) I = log₂N (единица измерения - бит);

2) I = lgN (единица измерения - дит)

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log₂100 = 6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 бит, или для второго варианта I=lg100=2 дит.

Приведем другие примеры равновероятных сообщений:

1) при бросании монеты: "выпала решка", "выпал орел";

2) на странице книги: "количество букв чётное", "количество букв нечёт-ное".

• Назад
• Вверх
• Вперед