Содержательный подход к измерению информации

Информация – это знания человека. Сообщение несет информацию для человека (информативно), если содержащиеся в нем сведения являются для него новыми и понятными.

 

Неопределенность знаний и единица информации

Можно различить две ситуации: «нет информации» - «есть информация» т.е. количество информации равно нулю или не равно нулю). Нужна единица измерения, тогда можно определить, в каком сообщении информации больше, в каком – меньше.  Эта единица называется бит.

Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.

Неопределенность знаний о некотором событии – это количество возможных результатов события.

Что такое «неопределенность знаний»?  Рассмотрим примеры:

 

Пример 1:   Вы бросаете монету, загадывая, что выпадет: орел или решка?

Решение: Есть два варианта возможного результата бросания монеты.  Ни один из этих  вариантов не имеет преимущества  перед другим (равновероятны). Перед  подбрасыванием  монеты неопределенность знаний о результате равна двум.

 После совершения действия неопределенность уменьшилась в 2 раза.  Получили  1 бит информации.

Ответ:   Результат подбрасывания монеты принес   1 бит информации.

 

Пример 2:  Студент на экзамене может получить одну из четырех оценок: 5, 4, 3, 2. Учится  неровно и с одинаковой вероятностью может получить любую оценку. После  сдачи экзамена, на вопрос: «Что получил?» - ответил: «Четверку». Сколько бит информации содержится в его ответе?

Решение: Если сразу сложно ответить на вопрос, то можно отгадать оценку, задавая вопросы, на которые можно ответить  только «да» или « нет», т.е. поиск осуществляется отбрасыванием половины вариантов.

Вопросы будем ставить так, чтобы каждый ответ уменьшал количество вариантов в два раза и, следовательно, приносил 1 бит информации.

1 вопрос: -Оценка выше тройки?                     - ДА

(число вариантов уменьшилось в два раза.) Получен 1 бит информации.

2 вопрос: -Ты получил пятерку?                       - НЕТ

(выбран один вариант из двух оставшихся: оценка – «четверка».)  Получен еще 1 бит.

В сумме имеем 2 бита.

Ответ: Сообщение о том, что произошло одно из четырех равновероятностных событий несет  2 бита информации.

 

Пример 3:   На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них.   Сколько информации содержит сообщение о том, где находится книга?

1 вопрос:  - Книга лежит выше четвертой полки?   - НЕТ   (1, 2, 3, 4)   - 1 бит

2 вопрос:  - Книга лежит ниже третьей полки?        - ДА      (1, 2) -  1 бит

3 вопрос:  - Книга – на второй полке?                         - НЕТ    (1)                  -  1 бит

Книга лежит на первой полке.

Ответ: 3 бита информации  (каждый ответ уменьшал  неопределенность в два раза. Всего было задано три вопроса.)

 

Получим формулу вычисления количества информации.

Обозначим:  N – количество возможных событий (неопределенность знаний)

 i - количество информации в сообщении о том, что произошло одно из N событий.

 В примере с монетой                  N = 2, i = 1     21 = 2

 В примере с оценками               N = 4, i = 2     22 = 4

 В примере со стеллажом           N = 8, i = 3     23 = 8

 

Получаем формулу:                  2i = N

Вывод: Для определения количества информации i, содержащейся в сообщении о том, что произошло одно из N равновероятных событий, нужно решить показательное уравнение:

2i = N   Þ   I = log2N

Примечание: Если  i – дробное число, т.е. например, N=6 (результат бросания игральной кости, у которой имеется шесть граней), то можно воспользоваться таблицей.    Þ    i =2,58496

     N                  i

     N                i

     N                i

     N                i

1           0,00000

17          4,08746

33          5,04439

49          5,61471

2           1,00000

18          4,16993

34          5,08746

50          5,64386

3          1,58496

19          4,24793

35          5,12928

51          5,67243

4          2,00000

20          4,32193

36          5,16993

52          5,70044

5          2,32193

21          4,39232

37          5,20945

53          5,72792

6          2,58496

22          4,45943

38          5,24793

54          5,75489

7          2,80735

23          4,52356

39          5,28540

55          5,78136

8          3,00000

24          4,58496

40          5,32193

56          5,80735

9          3,16993

25          4,64386

41          5,35755

57          5,83289

10         3,32193

26          4,70044

42          5,39232

58          5,85798

11         3,45943

27          4,75489

43          5,42626

59          5,88264

12         3,58496

28          4,80735

44          5,45943

60          5,90689

13         3,70044

29          4,85798

45          5,49185

61          5,93074

14         3,80735

30          4,90689

46          5,52356

62          5,95420

15         3,90689

31          4,95420

47          5,55459

63          5,97728

16         4,00000

32          5,00000

48          5,58496

64          6,00000

В МЕНЮ

Используются технологии uCoz