какое понятие вводят для того чтобы охарактеризовать степень неопределенности случайного события

MT1402: Теоретические основы информатики. Имитационное моделирование

Случайные события могут быть описаны с использованием понятия «вероятность». Соотношения теории вероятностей позволяют найти (вычислить) вероятности как одиночных случайных событий, так и сложных опытов, объединяющих несколько независимых или связанных между собой событий. Однако описать случайные события можно не только в терминах вероятностей.

То, что событие случайно, означает отсутствие полной уверенности в его наступлении, что, в свою очередь, создает неопределенность в исходах опытов, связанных с данным событием. Безусловно, степень неопределенности различна для разных ситуаций.

Например, если опыт состоит в определении возраста случайно выбранного студента 1-го курса дневного отделения вуза, то с большой долей уверенности можно утверждать, что он окажется менее 30 лет; хотя по положению на дневном отделении могут обучаться лица в возрасте до 35 лет, чаще всего очно учатся выпускники школ ближайших нескольких выпусков. Гораздо меньшую определенность имеет аналогичный опыт, если проверяется, будет ли возраст произвольно выбранного студента меньше 18 лет. Для практики важно иметь возможность произвести численную оценку неопределенности разных опытов. Попробуем ввести такую количественную меру неопределенности.

Начнем с простой ситуации, когда опыт имеет %%n%% равновероятных исходов. Очевидно, что неопределенность каждого из них зависит от n, т.е.

Мера неопределенности является функцией числа исходов %%f(n)%%.

Можно указать некоторые свойства этой функции:

$$f(n_α \cdot n_β)=f(n_α)+f(n_β)

Теперь задумаемся о том, каким может быть явный вид функции %%f(n)%%, чтобы он удовлетворял свойствам (1) и (2) и соотношению (2.1)? Легко увидеть, что такому набору свойств удовлетворяет функция %%log(n)%%, причем можно доказать, что она единственная из всех существующих классов функций. Таким образом:

За меру неопределенности опыта с n равновероятными исходами можно принять число %%log(n)%%.

Следует заметить, что выбор основания логарифма в данном случае значения не имеет, поскольку в силу известной формулы преобразования логарифма от одного основания к другому.

переход к другому основанию состоит во введении одинакового для обеих частей выражения (2.1) постоянного множителя %%log_b а%%, что равносильно изменению масштаба (т.е. размера единицы) измерения неопределенности. Поскольку это так, имеется возможность выбрать удобное (из каких-то дополнительных соображений) основание логарифма. Таким удобным основанием оказывается 2, поскольку в этом случае за единицу измерения принимается неопределенность, содержащаяся в опыте, имеющем лишь два равновероятных исхода, которые можно обозначить, например, ИСТИНА (True) и ЛОЖЬ (False) и использовать для анализа таких событий аппарат математической логики.

Единица измерения неопределенности при двух возможных равновероятных исходах опыта называется бит.

Название бит происходит от английского binary digit, что в дословном переводе означает «двоичный разряд» или «двоичная единица».

Таким образом, нами установлен явный вид функции, описывающей меру неопределенности опыта, имеющего %%n%% равновероятных исходов:

Вновь рассмотрим опыт с %%n%% равновероятными исходами. Поскольку каждый исход случаен, он вносит свой вклад в неопределенность всего опыта, но так как все %%n%% исходов равнозначны, разумно допустить, что и их неопределенности одинаковы. Из свойства аддитивности неопределенности, а также того, что согласно (2.2) общая неопределенность равна %%log_2 n%%, следует, что неопределенность, вносимая одним исходом составляет

Таким образом, неопределенность, вносимая каждым из равновероятных исходов, равна:

Теперь попробуем обобщить формулу (2.3) на ситуацию, когда исходы опытов неравновероятны, например, %%p(A_1)%% и %%p(A_2)%%. Тогда:

$$H=H_1+H_2=-p(А_1) \cdot log_2 р(А_1)-p(А_2) \cdot log_2 р(А_2)$$

Обобщая это выражение на ситуацию, когда опыт %%α%% имеет %%n%% неравновероятных исходов %%А_1, А_2. А_n%%, получим:

Введенная таким образом величина, как уже было сказано, называется энтропией опыта. Используя формулу для среднего значения дискретных случайных величин, можно записать:

Энтропия является мерой неопределенности опыта, в котором проявляются случайные события, и равна средней неопределенности всех возможных его исходов.

Для практики формула (2.4) важна тем, что позволяет сравнить неопределенности различных опытов со случайными исходами.

Согласно (2.4) находим энтропии обоих опытов:

%%Н_β > Н_α%%, т.е. неопределенность результата в опыте β выше и, следовательно, предсказать его можно с меньшей долей уверенности, чем результат α.

Источник

4. Понятие информации в теории Шеннона. Понятие энтропии

Случайные события могут быть описаны с использованием понятия «вероятность». Соотношения теории вероятностей позволяют найти (вычислить) вероятности, как одиночных случайных событий, так и сложных опытов, объединяющих несколько независимых или связанных между собой событий. Однако описать случайные события можно не только в терминах вероятностей.

То, что событие случайно, означает отсутствие полной уверенности в его наступлении, что, в свою очередь, создает неопределенность в исходах опытов, связанных с данным событием. Безусловно, степень неопределенности различна для разных ситуаций. Например, если опыт состоит в определении возраста случайно выбранного студента 1-го курса дневного отделения вуза, то с большой долей уверенности можно утверждать, что он окажется менее 30 лет; хотя по положению на дневном отделении могут обучаться лица в возрасте до 35 лет, чаще всего очно учатся выпускники школ ближайших нескольких выпусков. Гораздо меньшую определенность имеет аналогичный опыт, если проверяется, будет ли возраст произвольно выбранного студента меньше 18 лет. Для практики важно иметь возможность произвести численную оценку неопределенности разных опытов. Попробуем ввести такую количественную меру неопределенности.

Пусть опыт имеет n равновероятных исходов. Очевидно, что неопределенность каждого из них зависит от n исходов, т.е. мера неопределенности является функцией числа исходов f(n). Эта функция обладает следующими свойствами:

1. f(1) = 0, поскольку при n = 1 исход опыта не является случайным и, следовательно, неопределенность отсутствует;

2. f(n) возрастает с ростом n, т.к., чем больше число возможных исходов, тем более затруднительным становится предсказание результата опыта.

Определим явный вид функции f(n).

Для обозначения опытов со случайными исходами используются греческие буквы (альфа, бета и т.д.), а для обозначения отдельных исходов опытов (событий) – латинские заглавные(А,В и т.д.)

Такому набору свойств удовлетворяет функция log(n), причем можно доказать, что она единственная из всех существующих классов функций. Таким образом:

за меру неопределенности опыта с п равновероятными исходами можно принять число log(n).

Выбор основания логарифма в данном случае значения не имеет, поскольку в силу известной формулы преобразования логарифма от одного основания к другому.

Таким образом, явный вид функции, описывающей меру неопределенности опыта, имеющего n равновероятных исходов следующий:

Эта величина получила название энтропия. В дальнейшем будем обозначать ее Н.

Еще раз рассмотрим опыт с n равновероятными исходами. Поскольку каждый исход случаен, он вносит свой вклад в неопределенность всего опыта, но так как все n исходов равнозначны, можно допустить, что и их неопределенности одинаковы. Из свойства аддитивности неопределенности, а также того, что согласно выражению (1.5) общая неопределенность равна log₂n, следует, что неопределенность, вносимая одним исходом составляет:

Таким образом, неопределенность, вносимая каждым из равновероятных исходов, равна:

Теперь попробуем обобщить формулу (1.7) на ситуацию, когда исходы опытов не равновероятны, например, р(А₁) и р(А₂). Тогда:

Энтропия является мерой неопределенности опыта, в котором проявляются случайные события, и равна средней неопределенности всех возможных его исходов.

Для практики формула (1.10) важна тем, что позволяет сравнить неопределенности различных опытов со случайными исходами.

Согласно (1.10) находим энтропии обоих опытов:

Н_β > Н_α, т.е. неопределенность результата в опыте β выше и, следовательно, предсказать его можно с меньшей долей уверенности, чем результат α.

1) Энтропия всегда положительна.

2) Как следует из (1.10), Н = 0 только в двух случаях:

(а) какая-либо из p(A_i) = 1; однако, при этом из условия, что сумма всех вероятностей всех возможных исходов равно единице следует, что все остальные р(Аj) = 0 (i≠j), т.е. реализуется ситуация, когда один из исходов является достоверным (и общий итог опыта перестает быть случайным);

(b) все р(А_i) = 0, т.е. никакие из рассматриваемых исходов опыта невозможны, поскольку нетрудно показать, что во всех остальных случаях, очевидно, что Н > 0.

3) Очевидным следствием формулы (1.3) будет утверждение, что для двух независимых опытов α и β

Энтропия сложного опыта, состоящего из нескольких независимых, равна сумме энтропий отдельных опытов.

Примем без доказательства следующее утверждение:

При прочих равных условиях наибольшую энтропию имеет опыт с равновероятными исходами.

Другими словами, энтропия максимальна в опытах, где все исходы равновероятны. Здесь усматривается аналогия (имеющая глубинную первооснову) с понятием энтропии, используемой в физике. Впервые понятие энтропии было введено в 1865 г. немецким физиком Рудольфом Клаузиусом как функции состояния термодинамической системы, определяющей направленность самопроизвольных процессов в системе. Клаузиус сформулировал II начало термодинамики. В частности, он показал, что энтропия достигает максимума в состоянии равновесия системы.

Источник

«Энтропия и информация. Решение логических задач»

Ищем педагогов в команду «Инфоурок»

Описание презентации по отдельным слайдам:

Описание слайда:

«Энтропия и информация. Решение логических задач»
ЭЛЕКТИВНЫЙ
КУРС
«Кто владеет информацией, тот владеет миром!»
Э.Талейран

Описание слайда:

1. Случайные события. Мера их неопределенности. Формула Хартли.
2. Энтропия по Шеннону. Свойства энтропии.
3. Условная энтропия. Решение задач на условную энтропию.
4. Количество информации. Решение задач.
5. Решение логических задач на взвешивание через энтропию и количество информации.
6. Решение логических задач о лжецах через энтропию и количество информации.
7. Защита творческих проектов.
Итого: 14 часов
УЧЕБНО ТЕМАТИЧЕСКИЙ ПЛАН

Описание слайда:

ЦЕЛИ КУРСА
«ЭНТРОПИЯ И ИНФОРМАЦИЯ.
РЕШЕНИЕ ЛОГИЧЕСКИХ ЗАДАЧ»

Развитие логического мышления и формирование базы математических знаний;

Практическое применение изучаемого (изученного) программного материала средней школы;

Построение простейших вероятностных моделей реальных процессов и явлений, учитывающих влияние случая;

Создание определенного алгоритма для оценки предсказуемости случая;

Решение логических задач с применением понятия энтропии;

Описание слайда:

Расширить представления учащихся о дискретной математике, ее возможностях при вполне жизненных ситуациях;

Ввести новые математические понятия энтропии и количества информации;

Установить зависимость степени неопределенности от числа равновероятных исходов;

Показать способы использования ориентированного графа и кодового дерева для построения рассуждений и выводов;

Интегрировать алгебраический и графический методы для решения задач о лжецах, на взвешивание и др.;

Предложить комплекс логических задач, решаемых методом подсчета

Описание слайда:

В результате освоения данного курса ученик должен научиться:

Различать количественные характеристики случайного события: вероятность и степень неопределенности (энтропию);

Уметь находить степень неопределенности через известную (найденную) вероятность случайного события;

Сравнивать два события по их неопределенности;

Находить количество информации об опыте для оптимизации его результатов;

Применять полученные умения и навыки для решения логических задач алгебраическим и графическим методами.

Описание слайда:

Занятие №1. Случайные события.
Мера их неопределенности. Формула Хартли.

Цель занятия:
Вспомнить понятие случайных событий;
Ввести понятие энтропии, ее свойства;
Ввести формулу Хартли, рассмотреть условия применения ее при решении задач на угадывание;

Описание слайда:

Занятие №1. Случайные события.
Мера их неопределенности. Формула Хартли.

Задачи занятия:
Научиться среди предложенных событий выбирать неопределенные;
Установить соответствие между вероятностью события и его неопределенностью;
Научиться подсчитывать энтропию события по формуле Хартли;
Отработать метод половинного деления для решения задач на угадывание;
Разобрать алгоритм решения задач на угадывание с применением понятия энтропии

Описание слайда:

Степень неопределенности – есть еще одна характеристика случайного события, которую назвали энтропией. (Н(α)).

За единицу энтропии принимается неопределенность, содержащаяся в опыте, имеющем два равновероятностных исхода.

Описание слайда:

Формула Хартли
Пусть опыт α имеет k равновозможных исходов, тогда

Этой формулой удобно пользоваться, когда исходы равновероятны.

Описание слайда:

Чем больше равновероятных исходов, тем больше степень неопределенности
Чем меньше вероятность, тем больше степень неопределенности

Что имеет большую степень неопределенности угадывание месяца или дня недели рождения случайно встреченного человека?

Какую степень неопределенности имеет угадывание месяца рождения случайно встреченного человека?
Н(α) = log k = log12 = 2 + log 3.

Описание слайда:

Описание слайда:

Занятие №2. Энтропия по Шеннону. Свойства энтропии.

Цели занятия:
Продолжить усвоение понятия энтропия и ее свойств через введение формулы К. Шенона
Задачи занятия:
Создать проблемную ситуацию невозможности решить задачу с помощью формулы Хартли;
Ввести формулу Клода Шеннона;
Рассмотреть анализ условий задач табличным и графическим методами;
Ввести алгоритм решения задач на сравнение неопределенностей событий;
Свойства энтропии;
Провести тренинг сравнения степеней неопределенности событий.

Описание слайда:

Где вероятности равновозможных исходов.
Он же предложил назвать эту величину энтропией

Описание слайда:

Описание слайда:

Какую степень неопределенности содержит опыт угадывания цвета двух шаров, извлеченных из урны, в которой находятся
2 белых и 3 черных шара?
Р=2\5 Р=3\5

Р=2\5 * 1\4 Р=3\10 Р=3\10 Р=3\10
=1\10

Описание слайда:

Занятие №3. Условная энтропия. Решение задач на условную энтропию.

Цель занятия: введение понятия условной энтропии для решения соответствующих задач
Задачи занятия:
Ввести понятие условной энтропии;
Обозначить тип задач, решаемых с применением условной энтропии;
Ввести алгоритм решения задач на условную энтропию;
Ввести свойства энтропии, привести доказательство;

Описание слайда:

Граф и формула нахождения условной энтропии выглядит следующим образом
Н (β/Аi) = ∑ [Р(Вj /Аi) log (Р(Вj /Аi))-1]
…
A1
An
P(A1)
P(A2)
P(An)
α
A1
P(A2)
P(A1)
P(An)
A2
An
α

Описание слайда:

Какую энтропию содержит опыт угадывания простой цифры при извлечении из цифровой азбуки при условии, что одна карточка утеряна?
Опыт α = <утеряна одна карточка>=

Описание слайда:

β
Ответ: 1 бит.
(Приложение №4)

Описание слайда:

Занятие №4. Количество информации. Решение задач
Цель занятия: Введение понятия количества информации для решения задач

Задачи занятия:
Ввести новые понятия и формулы: количество информации, ориентированный граф, свойства количества информации;
Разобрать типовые задачи на количество информации;
Провести интерпретацию информации через энтропию;
Доказать ряд свойств количества информации;

Описание слайда:

Количество информации I(α,β) показывает, насколько осуществление опыта α уменьшает неопределенность β т.е. как много нового узнаем мы об исходе опыта β, произведя измерение (наблюдение) α;
Информацию можно измерить числом, которое называется количеством информации об опыте β, содержащемся в опыте α

Описание слайда:

Свойства количества информации

Описание слайда:

Решение логических задач на взвешивание через энтропию и количество информации.

Описание слайда:

ЗАДАЧИ НА ВЗВЕШИВАНИЕ
Задача:
Имеется 12 монет одного достоинства, одна из которых фальшивая, отличающаяся от других по весу (причем неизвестно, легче она или тяжелее настоящих).

Каково наименьшее число взвешиваний на чашечных весах без гирь, которое позволяет обнаружить фальшивую монету?

Описание слайда:

Решение:
т.е. определение фальшивой монеты связано с получением информации, измеряющейся числом log24
или k*log3≥log24
Отсюда и
т.к. k – целое число, то k≥3

Описание слайда:

Описание слайда:

Web-сайт:
«Теория информации»

Презентация:
«информация и логические задачи»

Если Вы считаете, что материал нарушает авторские права либо по каким-то другим причинам должен быть удален с сайта, Вы можете оставить жалобу на материал.

Курс профессиональной переподготовки

Библиотечно-библиографические и информационные знания в педагогическом процессе

Курс повышения квалификации

Охрана труда

Курс профессиональной переподготовки

Организация деятельности библиотекаря в профессиональном образовании

Найдите материал к любому уроку, указав свой предмет (категорию), класс, учебник и тему:

также Вы можете выбрать тип материала:

Общая информация

Международная дистанционная олимпиада Осень 2021

Похожие материалы

« По – настоящему безопасной можно считать лишь систему, которая выключена, замурована в бетонный корпус, заперта в помещение со с

Годовой отчет: плоский или многомерный? Конурбаев М.Э. профессор МГУ им. М.В.Ломоносова

Информация о ходе выполнения решения коллегии Администрации области от 01.03.2004 года № 11 «О ходе выполнения постановления Админист

Подготовлена Шипиловым Михаилом

Действия с информацией

Современные способы сбора и анализа медицинской статистики с использованием инструментов Microsoft

Информация и цивилизация

Файл. Действия с файлами.

Не нашли то что искали?

Воспользуйтесь поиском по нашей базе из
5269814 материалов.

Вам будут интересны эти курсы:

Оставьте свой комментарий

Авторизуйтесь, чтобы задавать вопросы.

Безлимитный доступ к занятиям с онлайн-репетиторами

Выгоднее, чем оплачивать каждое занятие отдельно

Прослушивание музыки снижает усталость мозга

Время чтения: 1 минута

Вузам Москвы и Подмосковья рекомендовали с 8 ноября ввести смешанный формат обучения

Время чтения: 1 минута

В школе в Пермском крае произошла стрельба

Время чтения: 1 минута

Около половины детей болеют коронавирусом в бессимптомной форме

Время чтения: 1 минута

Роспотребнадзор продлил действие санитарных правил для школ

Время чтения: 1 минута

В Минобрнауки разрешили вузам продолжить удаленную работу после 7 ноября

Время чтения: 1 минута

Подарочные сертификаты

Ответственность за разрешение любых спорных моментов, касающихся самих материалов и их содержания, берут на себя пользователи, разместившие материал на сайте. Однако администрация сайта готова оказать всяческую поддержку в решении любых вопросов, связанных с работой и содержанием сайта. Если Вы заметили, что на данном сайте незаконно используются материалы, сообщите об этом администрации сайта через форму обратной связи.

Все материалы, размещенные на сайте, созданы авторами сайта либо размещены пользователями сайта и представлены на сайте исключительно для ознакомления. Авторские права на материалы принадлежат их законным авторам. Частичное или полное копирование материалов сайта без письменного разрешения администрации сайта запрещено! Мнение администрации может не совпадать с точкой зрения авторов.

Источник

Инструменты сайта

Основное

Навигация

Информация

Действия

Содержание

Статус документа: черновик.

Теория информации по Шеннону

Энтропия

Если наше событие (опыт) состоит в определении цвета первой встретившейся нам вороны, то мы можем почти с полной уверенностью рассчитывать, что этот цвет будет черным. Несколько менее определено событие (опыт), состоящее в выяснении того, окажется ли первый встреченный нами человек левшой или нет — здесь тоже предсказать результаты опыта можно, почти не колеблясь, но опасения в относительно правильности этого предсказания будут более обоснованны, чем в предыдущем случае. Значительно труднее предсказать заранее пол первого встретившегося нам на улице человека. Но и этот опыт имеет относительно небольшую степень неопределенности по сравнению, например с попыткой определить победителя в чемпионате страны по футболу с участием двадцати совершенно незнакомых нам команд.

Пример. Предположим, что найденная Иваном-царевичем лягушка в течение минуты либо

После приведения этой формулировки, Шеннон пишет:

Происхождение слова «энтропия» ☞ ЗДЕСЬ.

Свойства энтропии

Проанализируем теперь формулу для энтропии.

Условная энтропия

Проиллюстрируем результат теоремы на примере, который подробно будем разбирать во всех последующих пунктах. Источник приведенных в нем данных ☞ ЗДЕСЬ.

Пример. Пусть случайный процесс заключается в ежесекундном появлении на экране монитора одной буквы русского алфавита в соответствии с приведенными ниже вероятностями

Пока мы только лишь формально осваиваем введенный математический аппарат, оставляя обсуждение лежащего под ним здравого смысла до следующих пунктов.

Понятие об информации

Информационная избыточность

Если считать, что коммуникация каждого из символов нового алфавита «стоит» одинакового количества ресурсов (энергии, времени), то наиболее выгодный код позволит сэкономить эти ресурсы.

Частота встречаемости букв в обычном (неспециальном) тексте (без учета пробелов) [2]:

Пример [обезьяна за клавиатурой]. Известна теорема о бесконечных обезьянах: абстрактная обезьяна, ударяя случайным образом по клавишам печатной машинки 7) в течение неограниченно долгого времени, рано или поздно напечатает любой наперёд заданный текст (например «Войны и мира»). В указанной ссылке приводятся оценки времени наступления этого события. Следующие примеры 8) показывают, что может произойти, если обезьяна будет бить по клавиатуре специально сконструированной машинки, в которой клавиши соответствуют биграммам, триграммам и т.п. русского языка и при этом размеры клавиш пропорциональны частотам встречаемости в русском языке (а обезьяна будет чаще ударять по большим клавишам).

Приближения нулевого порядка (символы независимы и равновероятны):

ФЮНАЩРЪФЬНШЦЖЫКАПМЪНИФПЩМНЖЮЧГПМ ЮЮВСТШЖЕЩЭЮКЯПЛЧНЦШФОМЕЦЕЭДФБКТТР МЮЕТ

Приближение первого порядка (символы независимы, но с частотами, свойственными русскому языку):

ИВЯЫДТАОАДПИ САНЫАЦУЯСДУДЯЪЛЛЯ Л ПРЕЬЕ БАЕОВД ХНЕ АОЛЕТЛС И

Приближение второго порядка (частотность диграмм такая же как в русском языке):

ОТЕ ДОСТОРО ННЕДИЯРИТРКИЯ ПРНОПРОСЕБЫ НРЕТ ОСКАЛАСИВИ ОМ Р ВШЕРГУ П

Приближение третьего порядка (частотности триграмм такие же как в русском языке):

С ВОЗДРУНИТЕЛЫБКОТОРОЧЕНЯЛ МЕСЛОСТОЧЕМ МИ ДО

Вместо того, чтобы продолжить процесс приближения с помощью тетраграмм, пентаграмм и т.д., легче и лучше сразу перейти к словарным единицам. Приближение первого порядка на уровне слов 9) : cлова выбираются независимо, но с соответствующими им частотами.

СВОБОДНОЙ ДУШЕ ПРОТЯНУЛ КАК ГОВОРИТ ВСПОМНИТЬ МИЛОСТЬ КОМНАТАМ РАССКАЗА ЖЕНЩИНЫ МНЕ ТУДА ПОНЮХАВШЕГО КОНЦУ ИСКУСНО КАЖДОМУ РЯСАХ К ДРУГ ПЕРЕРЕЗАЛО ВИДНО ВСЕМ НАЧИНАЕТЕ НАД ДВУХ ЭТО СВЕТА ХОДУНОМ ЗЕЛЕНАЯ МУХА ЗВУК ОН БЫ ШЕЮ УТЕР БЕЗДАРНЫХ

Приближение второго порядка на уровне слов. Переходные вероятности от слова к слову соответствуют русскому языку, но «более дальние» зависимости не учитываются:

ОБЩЕСТВО ИМЕЛО ВЫРАЖЕНИЕ МГНОВЕННОГО ОРУДИЯ К ДОСТИЖЕНИЮ ДОЛЖНОСТЕЙ ОДИН В РАСЧЕТЫ НА БЕЗНРАВСТВЕННОСТИ В ПОЭЗИИ РЕЗВИТЬСЯ ВСЕ ГРЫЗЕТ СВОИ БРАЗДЫ ПРАВЛЕНИЯ НАЧАЛА ЕГО ПОШЛОЙ

Результатом оказывается кодовая таблица

А теперь перейдем к фундаментальному результату теории кодирования, связав код Шеннона-Фано с понятием энтропии.

Пример. Обратимся к рассмотренному ☞ ЗДЕСЬ примеру сокращенного русского языка

Если же перейти к алфавиту, составленному из биграмм

Ои | то | ми | и_ | о_ | им | и_ | оо | ои | тм | и_ | о_ | о_ | о_ | оо | ии | им | то | ми | им | от | ои | м_ | …

Пропускная способность канала связи

Рассуждения предыдущего пункта относились к случаю, когда процесс коммуникации происходит без искажений. Обратимся теперь от теории к реальности: помехи всегда будут.

Дополнительно вводятся ограничения на допустимые к передаче последовательности — например, запрет двух пробелов подряд между словами. ♦

Пример. Для рассмотренного выше «телеграфного» примера имеем разностное уравнение в виде

При наличии помех в линии связи дело будет обстоять иначе. В этом случае только наличие избыточности в передаваемой последовательности сигналов может помочь нам точно восстановить переданное сообщение по принятым данным. Ясно, что использование кода, приводящего к наименьшей избыточности закодированного сообщения здесь уже нецелесообразно и скорость передачи сообщения должна быть уменьшена. Насколько уменьшена?

Статья не закончена!

Источники

[1]. Шеннон К. Математическая теория связи. (Shannon C.E. A Mathematical Theory of Communication. Bell System Technical Journal. — 1948. — Т. 27. — С. 379-423, 623–656.)

[2]. Яглом А.М., Яглом И.М. Вероятность и информация. М. Наука. 1973.

Источник