ИЗБЫТОЧНОСТЬ СООБЩЕНИЙ

ИЗБЫТОЧНОСТЬ СООБЩЕНИЙ понятие теории информации. Наличие избыточности в записи
сообщений к.-л. источника информации проявляется в возможности записать
эти сообщения в среднем более кратко, используя те же самые знаки (т. е.
заменяя код на другой с тем же алфавитом; см. Код, Кодирование). Напр.,
если рассматриваемые сообщения представляют собой последовательности знаков
0 и 1, в к-рых единица встречается в среднем один раз на десять знаков,
то, применяя кодирование
по правилу можно сократить запись почти вдвое. Максимальная доля "лишних"
знаков определяется по статистич. свойствам рассматриваемого источника
сообщений и также называется его избыточностью. В этом понимании И. с.
R
определяется по формуле R = 1 - H/logт
- число букв алфавита,< а Н - энтропия источника на букву
сообщения. Можно подсчитать, что в приведённом примере И. с. равна 0,53.
Минимальной И. с. R = 0 обладает только последовательность, в к-рой
знаки независимы и с вероятностью 1/m могут быть равны любой из
т букв
алфавита.

Практически
важен вопрос об оценке избыточности конкретных форм сообщений (таких, как
письменная и устная речь, фототелеграммы, телевизионные изображения).
Величина И. с. в них оказывается обычно значительной.< Так,< напр.,
И. с. англ, письменной речи не менее 0,6. Большая избыточность позволяет
лучше распознать передаваемые сообщения при наличии помех в каналах связи.
С этой точки зрения не всегда следует стремиться к уменьшению И. с. Ю.
В. Прохоров,

А Б В Г Д Е Ё Ж З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Ъ Ы Ь Э Ю Я