Содержательный подход к измерению информации
Информация – это знания человека. Сообщение несет информацию для человека (информативно), если содержащиеся в нем сведения являются для него новыми и понятными.
Можно различить две ситуации: «нет информации» - «есть информация» т.е. количество информации равно нулю или не равно нулю). Нужна единица измерения, тогда можно определить, в каком сообщении информации больше, в каком – меньше. Эта единица называется бит.
Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.
Неопределенность знаний о некотором событии – это количество возможных результатов события.
Что такое «неопределенность знаний»? Рассмотрим примеры:
Пример 1: Вы бросаете монету, загадывая, что выпадет: орел или решка?
Решение: Есть два варианта возможного результата бросания монеты. Ни один из этих вариантов не имеет преимущества перед другим (равновероятны). Перед подбрасыванием монеты неопределенность знаний о результате равна двум.
После совершения действия неопределенность уменьшилась в 2 раза. Получили 1 бит информации.
Ответ: Результат подбрасывания монеты принес 1 бит информации.
Пример 2: Студент на экзамене может получить одну из четырех оценок: 5, 4, 3, 2. Учится неровно и с одинаковой вероятностью может получить любую оценку. После сдачи экзамена, на вопрос: «Что получил?» - ответил: «Четверку». Сколько бит информации содержится в его ответе?
Решение: Если сразу сложно ответить на вопрос, то можно отгадать оценку, задавая вопросы, на которые можно ответить только «да» или « нет», т.е. поиск осуществляется отбрасыванием половины вариантов.
Вопросы будем ставить так, чтобы каждый ответ уменьшал количество вариантов в два раза и, следовательно, приносил 1 бит информации.
1 вопрос: -Оценка выше тройки? - ДА
(число вариантов уменьшилось в два раза.) Получен 1 бит информации.
2 вопрос: -Ты получил пятерку? - НЕТ
(выбран один вариант из двух оставшихся: оценка – «четверка».) Получен еще 1 бит.
В сумме имеем 2 бита.
Ответ: Сообщение о том, что произошло одно из четырех равновероятностных событий несет 2 бита информации.
Пример 3: На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга?
1 вопрос: - Книга лежит выше четвертой полки? - НЕТ (1, 2, 3, 4) - 1 бит
2 вопрос: - Книга лежит ниже третьей полки? - ДА (1, 2) - 1 бит
3 вопрос: - Книга – на второй полке? - НЕТ (1) - 1 бит
Книга лежит на первой полке.
Ответ: 3 бита информации (каждый ответ уменьшал неопределенность в два раза. Всего было задано три вопроса.)
Получим формулу вычисления количества информации.
Обозначим: N – количество возможных событий (неопределенность знаний)
i - количество информации в сообщении о том, что произошло одно из N событий.
В примере с монетой N = 2, i = 1 21 = 2
В примере с оценками N = 4, i = 2 22 = 4
В примере со стеллажом N = 8, i = 3 23 = 8
Получаем формулу: 2i = N
Вывод: Для определения количества информации i, содержащейся в сообщении о том, что произошло одно из N равновероятных событий, нужно решить показательное уравнение:
2i = N Þ I = log2N
Примечание: Если i – дробное число, т.е. например, N=6 (результат бросания игральной кости, у которой имеется шесть граней), то можно воспользоваться таблицей. Þ i =2,58496
N i |
N i |
N i |
N i |
1 0,00000 |
17 4,08746 |
33 5,04439 |
49 5,61471 |
2 1,00000 |
18 4,16993 |
34 5,08746 |
50 5,64386 |
3 1,58496 |
19 4,24793 |
35 5,12928 |
51 5,67243 |
4 2,00000 |
20 4,32193 |
36 5,16993 |
52 5,70044 |
5 2,32193 |
21 4,39232 |
37 5,20945 |
53 5,72792 |
6 2,58496 |
22 4,45943 |
38 5,24793 |
54 5,75489 |
7 2,80735 |
23 4,52356 |
39 5,28540 |
55 5,78136 |
8 3,00000 |
24 4,58496 |
40 5,32193 |
56 5,80735 |
9 3,16993 |
25 4,64386 |
41 5,35755 |
57 5,83289 |
10 3,32193 |
26 4,70044 |
42 5,39232 |
58 5,85798 |
11 3,45943 |
27 4,75489 |
43 5,42626 |
59 5,88264 |
12 3,58496 |
28 4,80735 |
44 5,45943 |
60 5,90689 |
13 3,70044 |
29 4,85798 |
45 5,49185 |
61 5,93074 |
14 3,80735 |
30 4,90689 |
46 5,52356 |
62 5,95420 |
15 3,90689 |
31 4,95420 |
47 5,55459 |
63 5,97728 |
16 4,00000 |
32 5,00000 |
48 5,58496 |
64 6,00000 |