История изменений

Если у вас есть некоторое случайное событие X, имеющее n исходов с вероятностями p_i, то вы имеете неопределённость H(X) = sum_{i=1}^n p_i log(p_i) (по Шенону). В результате наступления события (измерение, наблюдение, в общем, какой-то способ регистрации оного) эта неопределённость снимается, так что мы получаем объём информации, равный H(X).

Для лучшего понимания следует рассмотреть крайние случаи. Если для некоторого i=k p_k =1, а все прочие p_(i<>k) = 0, тогда никакой неопределённости нет. Формула также покажет вам 0 (неопределённость разрешите по Лапиталю через производные). В результате измерения вы не получите никакой новой информации, поскольку итак знали исход (например, что на выборах в Беларуссии победит Лукашенко). Напротив, если все p_i равны, тогда объём энтропии будет максимален и равен log(n). Это случай максимальной неопределённости, потому что у всех шансы равны. Соответственно, именно такое количество информации вы получите, пронаблюдав за событием.

Если у вас есть некоторое случайное событие X, имеющее n исходов с вероятностями p_n, то вы имеете неопределённость H(x) = sum_{i=1}^n p_i log(p_i) (по Шенону). В результате наступления события (измерение, наблюдение, в общем, какой-то способ регистрации оного) эта неопределённость снимается, так что мы получаем объём информации, равный H(X).

Для лучшего понимания следует рассмотреть крайние случаи. Если для некоторого i=k p_k =1, а все прочие p_(i<>k) = 0, тогда никакой неопределённости нет. Формула также покажет вам 0 (неопределённость разрешите по Лапиталю через производные). В результате измерения вы не получите никакой новой информации, поскольку итак знали исход (например, что на выборах в Беларуссии победит Лукашенко). Напротив, если все p_i равны, тогда объём энтропии будет максимален и равен log(n). Это случай максимальной неопределённости, потому что у всех шансы равны. Соответственно, именно такое количество информации вы получите, пронаблюдав за событием.