какое количество информации несет сообщение встреча
Формула Хартли. Содержательный (вероятностный) подход к измерению количества информации
Формула Хартли. Содержательный (вероятностный) подход к измерению количества информации.
Рассмотрим вероятностный подход к измерению информации.
Человек имеет некоторые знания, например о существующих системах счисления. Если в некоторый момент, скажем на уроке ученик прослушает информацию о системах счисления, то он может уменьшить свою неопределенность знаний в этой области (если узнает например о способе перевода числа из системы в систему) или нет ( если прослушает известную информацию о существующих системах счисления), все зависит от того какую информацию он получит.
Или другой пример, после сдачи экзамена ученик мучается неопределенностью, какую оценку он получит, после объявления результатов получает полную определенность, происходит переход от незнания к полному знанию, значит, сообщение экзаменационной комиссии содержит информацию. На прошлом уроке мы говорили, если рассматривать с точки зрения содержания, то на минимальном уровне мы можем получить ответ на вопрос в форме да или нет и тем самым снять неопределенность в два раза.
Существует формула, которая связывает между собой количество информации и количество возможных событий, эта формула Хартли:
N= 2i, i – количество информации, N – количество возможных равновероятных событий.
Например, бросая монету мы с одинаковой вероятностью можем сказать, что выпадет «орел» или «решка», при падении монеты мы получаем 1 бит информации, 21=2, а событий равновероятных будет 2.
Вывод: количество информации, которое содержит сообщение, закодированное с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на количество знаков.
1. В барабане для розыгрыша лотереи находится 32 шара. Сколько информации содержит сообщение о первом выпавшем номере (например, выпал номер 15)?
Решение:
т. к. вытаскивание любого из шаров равновероятно, то количество информации вычисляется по формуле 2I=N, где I – количество информации, а N – количество шаров. Тогда 2I=32, отсюда I = 5 бит.
2. Какой объем информации содержит сообщение, уменьшающее неопределенность знаний в 4 раза?
Решение:
1 бит – это количество информации, уменьшающее неопределенность знаний в 2 раза. I бит – это количество информации, уменьшающее неопределенность знаний в 2I раз. отсюда, 4=2I, I = 2 бит.
3. Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 3. Сколько информации получили школьники из этого сообщения?
Решение:
Поскольку выбор одной дорожки из 4-х равновероятен, то количество информации определяется по формуле: 2I=N, где I – количество информации, а N=4 – количество дорожек. Тогда 2I=4, отсюда I=2 бита.
4. В корзине лежат 8 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар?
Решение:
Поскольку все шары разного цвета, то вытаскивание одного шара из восьми равновероятно. Количество информации определяется по формуле: 2I=N, где I – количество информации, а N=8 – количество шаров. Тогда 2I=8, отсюда I=3 бита.
5. Была получена телеграмма: «Встречайте, вагон 7». Известно, что в составе поезда 16 вагонов. Какое количество информации было получено?
Решение:
Поскольку номер вагона равновероятно может быть выбран из 16 вагонов, то количество информации определяется по формуле: 2I=N, где I – количество информации, а N=16 – количество вагонов. Тогда 2I=16, отсюда I=4 бита.
6. При угадывании целого числа в некотором диапазоне было получено 6 бит информации. Сколько чисел содержит этот диапазон?
Решение:
Поскольку выбор числа равновероятен из заданного диапазона, то количество информации определяется по формуле 2I=N, где I=6 бит, а N – количество чисел в искомом интервале. Отсюда: 26=N, N=64.
7. При угадывании целого числа в диапазоне от 1 до N было получено 7 бит информации. Чему равно N?
Решение:
Поскольку выбор числа равновероятен из заданного диапазона, то количество информации определяется по формуле 2I=N, где I=7 бит, а N – количество чисел в искомом интервале. Отсюда 27=N, N=128
8. Сообщение о том, что ваш друг живет на 10 этаже, несет 4 бита информации. Сколько этажей в доме?
Решение:
Поскольку появление в сообщении номера этажа равновероятно из общего числа этажей в доме, то количество информации определяется по формуле: 2I=N, где I = 4 – количество информации, N – число этажей в доме. Отсюда: 24=N, N=16.
9. Какое количество информации несет сообщение: «Встреча назначена на сентябрь».
Решение:
Поскольку появление в сообщении месяца сентябрь равновероятно из 12 месяцев, то количество информации определяется по формуле: 2I=N, где I – количество информации, N – количество месяцев. Отсюда: 2I=12, I=log212≈3. бит.
10. Какое количество информации несет сообщение о том, что встреча назначена на 15 число?
Решение:
Поскольку появление в сообщении определенного числа равновероятно из общего числа дней в месяце, то количество информации определяется по формуле: 2I=N, где I – количество информации, N=31 – количество дней в месяце. Отсюда: 2I=31, I=log231≈4. бит.
11. Какое количество информации несет сообщение о том, что встреча назначена на 23 октября в 15.00?
Решение:
Поскольку появление в сообщении определенного числа месяца, определенного месяца и определенного часа равновероятно из общего числа дней в месяце, общего числа месяцев, общего числа часов, то количество информации определяется по формуле: 2I=N, где I – количество информации, N=31*12*24 – (количество дней в месяце)*(количество месяцев)*(количество часов в сутках). Отсюда: 2I=31*12*24=8928, I=log2(31*12*24)≈13. бит.
12. Сообщение о том, что Петя живет во втором подъезде, несет 3 бита информации. Сколько подъездов в доме?
Решение:
Поскольку появление в сообщении номера подъезда равновероятно из общего числа подъездов в доме, то количество информации определяется по формуле: 2I=N, где I = 3 – количество информации, N – число подъездов в доме. Отсюда: 23=N, N=8.
13. В коробке лежат 7 разноцветных карандашей. Какое количество информации содержит сообщение, что из коробки достали красный карандаш?
Решение:
Поскольку все карандаши разного цвета, то вытаскивание одного карандаша из семи равновероятно. Количество информации определяется по формуле: 2I=N, где I – количество информации, N=7 – количество карандашей. Тогда 2I=7, отсюда I=log27≈2. бита.
14. В школьной библиотеке 16 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации библиотекарь передал Пете?
Решение:
Поскольку книга равновероятно может оказаться на любой из полок, то количество информации определяется по формуле: 2I=N, где I – количество информации, N=16*8=128 – количество полок. Отсюда: 2I=128, I=7 бит.
15. При игре в кости используется кубик с шестью гранями. Сколько бит информации получает игрок при каждом бросании кубика?
Решение:
Поскольку каждая грань кубика выпадает с равной вероятностью, то количество информации определяется по формуле: 2I=N, где I – количество информации, N=6 – количество граней кубика. Отсюда: 2I=6, I=log26≈2. бит.