СООБЩЕНИЕ

СООБЩЕНИЕ в теории информ а ц и
и, всякий носитель информации. При этом теория информации интересуется
лишь количеств, стороной информации, содержащейся в С. Понятие С. в теории
информации имеет существенно вероятностный характер: каждый источник информации
(или источник С.) задаётся перечислением возможных С. и соответствующих
им вероятностей. Пусть х, ..., х- возможные С., а р-
соответствующие вероятности. Тогда количество информации в С.

Xi принимают равным log1/pэнтропия),
т.
е. сумма

является важнейшей характеристикой источника.
Именно величина энтропии определяет возможности передачи и хранения С.,
производимых источником.

Пример. Пусть источником С. являются результаты
N
последовательных
измерений с точностью до 0,1 нек-рой физ. величины, равномерно распределённой
в интервале от нуля до единицы. Тогда, если указывать только число десятых
(с недостатком), возможными результатами отд. измерения будут числа 0,1,...,9.
Вероятность появления каждого из них равна 0,1. С. в данном примере представляются
N-членными последовательностями цифр. Вероятность каждого С. равна (0,1)^N.
Количество информации в каждом С. и энтропия источника равны Nlоg10 = 3,32N двоичных единиц. Можно сказать, что источником С. в этом
примере является случайная последовательность десятичных знаков (цифр)
длины N. Именно такую форму случайных последовательностей знаков
(или более общим образом - форму случайных процессов) имеют источники С.,
рассматриваемые в теории информации.

При изучении конкретных типов С., таких,
как письменная речь, телеграфные, телефонные или телевизионные сигналы,
обычно строится та или иная приближённая вероятностная модель источника
С. Так, с достаточной для целей теории информации точностью в качестве
модели русской письменной речи может быть принята т. н. сложная цепь Маркова.
Для непрерывных С. в качестве моделей используются стационарные случайные
процессы. Построение подобных моделей опирается на обширные статистич.
данные, касающиеся рассматриваемых процессов. Ю. В. Прохоров.