litceysel.ru
добавить свой файл
1
ЛЕКЦИЯ 2


ОСНОВЫ ТЕОРИИ ПЕРЕДАЧИ ИНФОРМАЦИИ


2.1. Определение основных понятий

Информация (от лат. Informatio - разъяснение, изложение) первоначально - сведения, передаваемые одними людьми другим людям устным, письменным или каким-либо другим способом (например, с помощью условных сигналов, с использованием технических средств связи и т.д.) (БСЭ - III изд., Т. 10, с. 353). С увеличением потока информации (сведений) возникли проблемы описания передачи информации между людьми, между человеком и автоматом, между автоматами. Появились некоторые теории количественной оценки отдельных видов информации (например, в технике связи, кибернетике). Однако полного и всеохватывающего определения информации на сегодня не существует.

Классическая теория информации не рассматривает ни вопроса о содержании передаваемых сообщений, ни эффекта воздействия этих сообщений на получателя. Поэтому термин "информация" трактуется как приращение сведений об источнике информации, образующееся у получателя при получении информации. Какая-то доля информации была у нас априорно (или полное ее отсутствие), остальные сведения о состоянии источника нам не известны (имеется априорная неопределенность источника информации). Получение в результате ответа информации об источнике увеличивает у нас количество информации и снимает неопределенность у источника.

Рассмотрим изменение объема информации в конкретных случаях. Пусть у нас опыт имеет лишь один исход и не содержит никакой неопределенности, тогда мы заранее знаем исход этого опыта. В результате осуществления опыта мы не получим никакой информации (При передаче сообщения "Волга впадает в Каспийское море" мы не получаем никакого нового сообщения, т.к. нам это было известно заранее).

Пусть опыт имеет два равновероятных исхода (например, прием одной посылки бинарного сигнала). Принимаемый сигнал несет определенную информацию (вероятность каждого сигнала Р = 1/2).


Пусть третий опыт связан с возможностью получить один из 10 равновероятных исходов. В этом случае будет большая предварительная неопределенность относительно источника, а принятое сообщение даст более уточненную характеристику состояния источника. Вероятность каждого исхода P(xi) = 1/10 - меньше чем во втором опыте.

Вывод: чем меньше априорная вероятность события, тем больше информации несет об источнике сообщение (т.е. тем более неожиданный исход).

В третьем случае неопределенность выше. Может показаться, что степень неопределенности определяется числом возможных состояний системы. Однако, в общем случае это не так. Рассмотрим РЭС, техническое состояние которого может быть в двух состояниях: исправно и неисправно. Предположим, что до получения сведений (априори) вероятность исправной системы 0,99, а отказ - 0,01. Такая система обладает малой степенью неопределенности: почти наверное можно предположить, что РЭС исправно. При бросании монеты также два состояния, но степень неопределенности гораздо выше.

Вывод: степень неопределенности системы определяется не только числом возможных состояний, но и вероятностями состояний.

Поэтому естественно предположить, что количественной мерой неопределенности отдельного сообщения, а также непередаваемой им информации может быть величина, обратная его априорной вероятности 1/P(xi) (что и предложил Р.Хартли в 1928 г.). Однако, такая мера неудобна (при P(xi) = 1 достоверное событие, количество информации оказывается не 0, а 1; кроме того, нет свойства аддитивности, т.к. вероятности двух и более событий перемножаются). Клод Шеннон в 1948 г. ввел логарифмическую меру количества информации.

(2.1)

При этом количество информации, содержащееся в сложном сообщении, представляющем совокупность событий xi и xj будет


. (2.2)

Свойства меры Шеннона:


  1. Логарифмическая мера обладает свойствами аддитивности.

  2. В случае события с одним исходом, детерминированные, т.е. определенные сообщения I(x) = 0.

  3. Величина информации растет с ростом неожиданности исхода (т.к. обратно пропорциональна вероятности события).

  4. Значение информации 0 (положительна).

Рассматриваемые свойства относятся к дискретной системе. Так как информация случайна, то нужна средняя мера оценки информации (среднее на одно сообщение).

I(x) = M1[-loga(P(xi)] = . (2.3)

В основе количества информации лежит априорная неопределенность сообщения, поэтому полученное выражение называют еще "энтропией" (термин заимствован из термодинамики, где аналогичное выражение характеризует среднюю неопределенность состояния системы молекул вещества).

Несмотря на совпадение выражений для I(x) и H(x) энтропия и количество информации принципиально различны. Информация рассматривается в связи со своей противоположностью – энтропией.

Энтропия определяет среднюю неопределенность источника (возможный объем информации у источника), информация связывается у нас с получением сообщения.

Единица измерения информации зависит от выбора основания logа

log2 – binary digit = бит (двоичная единица). В основном используется бит.

log10 – decimal digit = дит.


loge – natural digit = нат.

Свойства энтропии:


  1. H – вещественна, положительна, 0, ограничена т.к. P()1.

  2. H = 0 для детерминированных сообщений (из определения).

  3. H max, если все события равновероятны.

Для доказательства воспользуемся методом неопределенного множителя Лагранжа ().

Составим вспомогательную функцию:

.

Так как , то на такую величину можно умножить λ:

.

Необходимо найти max значение Fi по переменной P(x)i, для этого продифференцируем и приравняем = 0:



Для нахождения максимального значения найдем экстремум функции:

Fi/ Р(хi) = 0

log2 Р(хi) = -log2ℓ - λ = const (i =1, 2, 3, …, n)

откуда

Р(хi) = const = 1/n

Что и требовалось доказать (не зависят от номера i), что только тогда, когда все Р(хi) одинаковы 1/n.

Максимальное значение энтропии

. (2.4)

  1. Энтропия бинарной системы (2-х альтернативной) изменяется
    от 0 до 1.

Р(х1) + Р(х2) = 1.

Н(х) = -Р(х1)log2Р(х1) - Р(х2)log2Р(х2) = -Р(х1)log2Р(х1) - [1-Р(х1)]log2[1-Р(х1)].


Если Р(х1) = 0, Р(х2) = 1 Н(х) = 0

Р(х1) = 1, Р(х2) = 0 Н(х) = 0.

Максимум будет, если Р(х1) = Р(х2) = 0,5.

Н(х) = -log2(1/2) = 1 дв. ед.




Рис. 2.1

Литература:

[1] стр. 8, 128-11. [2] стр. 224-227. [3] стр. 101-105.


Контрольные вопросы:


  1. В чем недостатки меры информации по Хартли?

  2. Чему равна энтропия системы, если ее состояние неизвестно?

  3. При каком распределении вероятностей системы ее энтропия достигает максимума?

  4. Может ли быть энтропия отрицательной величиной?

  5. Чему равна энтропия бинарной системы при равновероятных состояниях элементов системы?


2.2. Энтропия сложных сообщений

Рассмотрим энтропию объединенной системы.

Под объединением двух систем с возможными состояниями
х1, х2, …, хn, y1, y2, …, yn понимается сложная система (X, Y), состояние которой (xi, yi) представляет собой все возможные комбинации состояний
xi, yi систем X и Y. Очевидно, число возможных состояний системы (X, Y) равно mn.

Обозначим через P(yy/xi) условную вероятность того, что система
Y принимает состояние yj при условии, что система Х находится в состоянии xi.

Определим теперь энтропию системы Y при условии, что система Х находится в состоянии xi (частная условная энтропия).

Н(Y/xi) = MY[-logP(yj/xi)] = .


Средняя по множеству всех возможных состояний системы Х условная энтропия (полная условная энтропия)

Н(Y/Х) = MХ[Н(Y/xi)] = (2.5)

Условная энтропия H(Y/X) характеризует степень неопределенности системы Y при условии, что состояние системы Х полностью определено.

Нетрудно убедиться, что

H(Y/X) = H(Y) (2.6)

при вероятностной независимости систем Х и Y, а также

Н(Y/X) = 0 (2.7)

при однозначной (функциональной связи) между системами.

Из (2.6) и (2.7) очевидно, что условная энтропия достигает максимума при вероятностной независимости систем. Это утверждение можно строго доказать методами вариационного исчисления, но и так представляется достаточно очевидным, что неопределенность одной системы не может увеличиться от того, что неопределенность какой-то другой системы уменьшилась.

Докажем следующую теорему.

Если две системы Х и Y объединяются в одну, то энтропия объединенной системы равна энтропии одной из составных частей плюс условная энтропия второй части относительно первой.

Н(X,Y) = M[-logP(X,Y)] = M[-log(P(X)P(Y/X))] =

= M[-logP(X)] + M[-logP(Y/X)] = H(X) + H(Y/X). (2.8)

В частном случае, когда системы Х и Y независимы

H(Y/X) = H(Y) и H(X,Y) = H(X) + H(Y).

Так как H(Y/X) ≤ H(Y), то H(X,Y) ≤ H(X) + H(Y), т.е. энтропия сложной системы достигает максимума в случае, когда ее составные части независимы.

Теорему об энтропии сложной системы легко распространить на любое число объединяемых систем.

Исходя из изложенного, можно объяснить, почему количественное представление информации через энтропию оказалось столь широко применимым. Такое представление обладает следующими достоинствами:

  1. Удовлетворяет требованию, предъявляемому к любой мере – аддитивности, по которому общая от нескольких источников информация находится суммированием.


  2. Хорошо отражает смысл понятия "информация" - среднее количество информации о системе, которое может быть получено, т.е. энтропия достигает максимума в случае, когда априорные данные о системе отсутствуют (все состояния системы равновероятны) и равно 0, если неопределенность системы отсутствует.

Довольно распространенным является случай, когда интересующая нас система событий (случайная величина) изучается не непосредственно, а путем изучения другой системы, связанной с первой вероятностно. Оценим взаимную информацию систем.

Пусть нас интересует система Х. Возможные ее состояния определяются априорными вероятностями Р(х1), Р(х2), …, Р(хn). Пусть также имеется система Y, вероятностно связанная с системой Х (известны условные вероятности P(xi/yk). При получении сообщения, что система Y находится в k-м состоянии, изменилось распределение вероятности системы Х, т.е. мы получили определенную информацию о системе Х. Приращение информации об i-том состоянии системы Х

.

Эта информация называется информацией "от события к событию".

В среднем по всем возможным состояниям системы Х приращение информации

.

Эта величина называется средней частной информацией.

Средняя по всем возможным состояниям системы Y информация о системе Х

(2.9)

Симметричность записи выражения (2.9) относительно Х и Y означает, что

IY→X = IX→Y = YX↔Y = I(X,Y) = H(X) – H(X/Y) = H(Y) – H(Y/X). (2.10)

Среднее количество информации, получаемое при неполной достоверности сообщений равно разности безусловной априорной информации Н(Х) и условной априорной информации H(X/Y), H(X/Y) трактуется как потеря информации (ненадежность связи).


Из выражения (2.8) следует:

H(X/Y) = H(X,Y) - H(Y)

и подстановка в уравнение (2.10) даст

YXY = H(X) – H(X,Y) + H(Y) = H(X) + H(Y) – H(X,Y),

где Н(Х,Y) – потеря информации.

Подытожим свойства взаимной информации.


  1. I(X,Y) ≥ 0,; I(X,Y) = 0, когда Х и Y – независимы.

  2. I(X,Y) = I(Y,Х).

  3. I(X,Y) ≤ Н(Х); I(X,Y) = Н(Х), когда Н(Х/Y) = 0 при однозначной связи.

  4. I(X,Х) = Н(Х) – собственная информация о себе.


Литература:

[1] стр. 132-134. [2] стр. 227-230. [3] стр. 106-109.


Контрольные вопросы:

  1. Чему равна энтропия объединения при независимости входящих в нее систем?

  2. Чему равна энтропия объединения при функциональной зависимости входящих в нее систем?

  3. Чему равна взаимная информация между независимыми системами?

  4. Может ли быть взаимная информация между двумя системами больше, чем наименьшая из энтропий этих систем?

  5. Как оценивается потеря информации при передаче ее от одной системы к другой?


2.3. Энтропия непрерывной случайной величины

В каналах передачи информации часто используются сигналы, мгновенные значения которых могут принимать любые значения на некотором интервале (речевые, музыкальные, телевизионные сигналы и т.д.)

Распространим понятие энтропии на случай непрерывной случайной величины (см. рис. 2.2)




Рис. 2.2

Вероятность попадания сигнала в промежуток x…x+dx равна



Таким образом:

(2.11)

Вторая составляющая (2.11) при переходе к пределу превращается
в ∞. Таким образом, энтропия непрерывной случайной величины равна ∞. В связи с этим может возникнуть сомнение в целесообразности энтропийного принципа измерения информации применительно к непрерывно распределенным сигналам. Однако, с теоретической точки зрения эта трудность не является принципиальной. Дело в том, что второе слагаемое выражения (2.11) не зависит от вероятностных характеристик случайной величины, иными словами, второе слагаемое с точностью до бесконечно малой величины одинаково для всех случайных величин. Поскольку в реальных каналах всегда имеют место шумы и вычисление информационных характеристик каналов сводится к определению разности энтропии сигнала и шума, в результате вычитания составляющие энтропии вида и взаимно уничтожаются.

При рассмотрении экспериментальных данных дело упрощается еще и тем, что элементы Δх остаются конечными, поскольку эти величины определяются разрешающей способностью измерительных приборов, которая не может быть бесконечной.

Так как при вычислении разности энтропий второе слагаемое выражения (2.11) не представляет интереса, используют только первую составляющую выражения (2.11).

, (2.12)

которое называется приведенной или относительной энтропией.

Поскольку выражения для приведенной энтропии непрерывной случайной величины и энтропии дискретной случайной величины аналогичны, очевидно, что приведенная энтропия достигает максимума при равновероятном распределении состояний.

Известно, что при фиксированной дисперсии энтропия максимальна при нормальном законе распределения, т.е. непрерывная случайная величина с фиксированной дисперсией и нормальным распределением обладает максимальной информативностью.


Приведенная энтропия нормально распределенной случайной величины

(2.13)

Частная и средняя взаимные энтропии непрерывного сигнала

Проделав преобразования, аналогичные тем, которые были проделаны для дискретного сигнала, можно получить следующие выражения для взаимной информации непрерывного сигнала:

1. информация от события к событию

,

2. частная информация

,

3. полная (средняя) информация




Литература:

[1] стр. 136-138. [2] стр. 245-249. [3] стр. 112-114.


Контрольные вопросы:


  1. Почему энтропия непрерывной системы описывается приведенной энтропией?

  2. Что такое дифференциальная энтропия?

  3. Чем отличается дифференциальная энтропия от обычной энтропии?

  4. Как влияет точность отсчета на дифференциальную энтропию?

  5. При каком распределении дифференциальная энтропия максимальна для сигналов одинаковой средней мощности?


2.4. Источники информации

Источниками сообщений могут быть объекты, состояние которых определяется некоторым физическим процессом, происходящим во времени или в пространстве. К источникам сообщений с пространственным распределением носителя информации относятся книги, картины, грампластинки и т.д. При передаче информации происходит, как правило, преобразование пространственного распределения во временное.

Источники информации могут быть дискретными и непрерывными.


По характеру работы источники делятся на две группы: с регулируемой и с нерегулируемой производительностью (скоростью выработки информации). К первой группе относятся источники с памятью, выдающие информацию в зависимости от режима работы кодопреобразователя или по запросу. Ко второй группе относятся источники без памяти.

Пусть дискретный источник сообщений вырабатывает некоторую последовательность символов, причем порядок следования этих символов случаен и характеризуется некоторой совокупностью вероятностей.

В самом простом случае для описания процессов достаточно только безусловных вероятностей символов. В более общем случае, когда вероятность появления символа зависит от того, каким были предыдущие, необходимо знать условные вероятности.

Дискретная последовательность, в которой вероятность появления символа зависит только от того, каким был предыдущий, называется простой цепью Маркова. Если коррелятивные связи простираются на большее (но конечное) число символов, процесс называется сложной цепью Маркова.

Для простой цепи Маркова

.

Для последовательности не связанных между собой вероятностью символов

.

Поскольку безусловная энтропия при заданных безусловных вероятностях больше любой условной, количество информации сообщения, приходящееся на один символ, достигает максимума в случае отсутствия корреляционных связей в сообщении.


Безусловная энтропия имеет максимальное значение при равновероятности всех символов. Итак, максимальное значение энтропии на символ имеет место в том случае, когда, во-первых, между символами отсутствуют вероятностные связи, а, во-вторых, когда все символы алфавита равновероятны. Определенное таким образом максимальное значение энтропии источника называется информационной емкостью источника. Информационная емкость источника, использующего алфавит с основанием L

.

Для характеристики использования символов в сообщении введен параметр, называемый избыточностью.

. (2.14)

Величину называют коэффициентом сжатия = М, Н(х) – энтропия на один символ сообщения.

Избыточность приводит к увеличению времени передачи информации, излишней загрузке канала связи. Имеется и определенная избыточность в русском языке и в европейских языках. Приведем таблицы относительной частоты появления букв (вероятности) в русском и английском языках.

Вероятность появления букв в русском тексте

Буква

-

(пробел)

о

е, ё

а, и


т, н

с

р

в

л

Вероятность

0,175

0,090

0,072

0,062

0,053

0,045

0,040

0,038

0,035

Буква

к

м

д

п

у

я

ы, з

ь, ъ

б

Вероятность

0,028

0,026

0,025

0,023

0,021

0,018

0,016

0,014

0,014

Буква

г

ч

й

х

ж

ю, ш

ц

щ, э

ф

Вероятность

0,013

0,012

0,010

0,009

0,007

0,006


0,004

0,003

0,002

Вероятность появления букв в английском тексте

Буква

-

(пробел)

e

t

o

a

n

i

r

s

Вероятность

0,200

0,105

0,072

0,065

0,063

0,059

0,055

0,054

0,052

Буква

h

d

l

c

f, u

m

p

y, w

g

Вероятность

0,047

0,035

0,029

0,023

0,022

0,021

0,018

0,012

0,011

Буква


b

v

k

x

j

q

z







Вероятность

0,010

0,008

0,003

0,002

0,001

0,001

0,001








Русский язык содержит 31 букву (е и ё, ь и ъ – не различаем). С учетом пробела (-) между буквами – 32 символа.

При условии равновероятности и независимости символов средняя энтропия на символ будет максимальной

Н(х)max = log232 = 5 ( в английском языке Нmax = 4,75 ).

Если учесть различную вероятность символов, то

Н1(х) = 4,39 (в английском языке Н1 = 4,03 ).

С учетом корреляции между двумя символами энтропия уменьшается

Н2(х) = 3,52 (в английском языке Н2 = 3,52 ),


между тремя символами:

Н3(х) = 3,00 (в английском языке Н3 = 3,10 ),

между восьмью символами:

Н8(х) = 2,00 (в английском языке Н8 = 1,86 )

и дальше остается неизменной, следовательно, избыточность русского языка:

,

в английском языке:

.

Во всех европейских языках избыточность примерно одинакова.

Избыточность разговорных языков сформировалась в результате очень длительной общественной практики и позволяет восстанавливать целые слова и фразы при их искажениях под воздействием различных мешающих факторов.

Еще источники информации оцениваются по количеству информации, вырабатываемой в единицу времени:

, (2.15)

где - средняя длина символа.


Например, для простого марковского источника

,

где τk - длительность k-го символа;

Р(xk/xi) – вероятность выработки k-го символа при условии, что предыдущим был i-й символ.

Величину называют скоростью создания сообщений, производительностью источника, а также потоком сообщений.

Для получения возможно большей скорости создания сообщений, необходимо, во-первых, обеспечить возможно большую энтропию на символ, а, во-вторых, уменьшить до возможных пределов среднюю длительность символов.


Литература:

[1] стр. 128-130. [2] стр. 222-224.


Контрольные вопросы:


  1. Чем определяется информационная емкость источника? Чему она равна для русского языка?

  2. От чего зависит избыточность источника?

  3. Что такое производительность источника?

  4. Как повысить скорость создания сообщений?



2.5. Пропускная способность канала связи без шумов

Пропускной способностью канала связи называется верхняя грань скорости передачи информации при заданных фиксированных ограничениях:

, (2.17)

где - средняя длина символа.

Как уже указывалось, Нmax = log2L.


Таким образом,

.

Для бинарного канала (L = 2) при одинаковой длительности обоих сигналов

.

где Δfэфф – эффективная полоса пропускания канала.

Фундаментальную роль в теории эффективного кодирования играет следующая теорема Шеннона.

Если пропускная способность канала связи больше производительности источника

,

то всегда можно закодировать достаточно длинное сообщение так (подобрать такой вид), чтобы оно передавалось каналом связи без задержки. При

,

передача информации без задержки невозможна.

Не указывая путей построения эффективных кодов, эта теорема определяет предельные возможности эффективного кодирования.


Литература:

[1] стр. 139-141. [2] стр. 235-238. [3] стр. 114-117.


Контрольные вопросы:


  1. От чего зависит максимум пропускной способности канала связи?

  2. Чем определяется пропускная способность бинарного канала?

  3. Когда возникает задержка в передаче информации по каналу связи.

  4. Сравните пропускные способности двух дискретных каналов без помех, если в первом канале основание кода m1 = 2, а во втором канале
    m2 = 8, и количество символов, передаваемых в секунду, в первом канале V = 100, а во втором V = 40.

2.6. Эффективное (экономное) кодирование


Кодированием называется представление сообщения в виде последовательности символов некоего алфавита.

Кодирование называется экономным (эффективным), если длина кодовых комбинацийминимальна.

Для эффективного кодирования код должен быть составлен так, чтобы, во-первых, каждый символ нес максимально возможную информацию, т.е. обладал максимальной энтропией, а, во-вторых, элементы сообщения должны кодироваться неравномерным кодом: кодовая информация должна быть тем короче, чем больше частота повторения (вероятность) кодируемого элемента.

Простейшие коды, не учитывающие связи между символами (некоррелированы), есть коды Шеннона-Фано и Хафмена.

Известно, что при отсутствии корреляции между символами скорость передачи информации будет максимальной при условии равной вероятности символов 0 и 1. В соответствии с этим построение кода Шеннона-Фано производится методом дихотомий (последовательное разделение пополам). Все подлежащие кодированию символы разбиваются на две группы так, чтобы суммы вероятностей появления символов в каждой группе были бы по возможности одинаковыми. В результате такого разбиения образовано новое сообщение, состоящее всего из двух элементов, вероятности появления которых одинаковы. Всем символам первой группы приписывается 0, второй – 1 и т.д. Например:

Дано Р(х1) = 0,5; Р(х2) = 0,25; Р(х3) = Р(х4) = 0,125.


Выписываем по порядку уменьшения вероятности:

Сим-волы

Вероят-ности

Этапы деления

Символы кода

Код

Ш-Ф

Двоичный код

1

2

3

1

2

3

х1

0,5

I







0







0

00

х2

0,25

II

I




1

0




10

01

х3

0,125

II

I

1


0

110

10

х4

0,125

II

1

111

11

Как видно, полученный код является неравномерным, т.к. длина кодовых комбинаций находится в обратной зависимости от их вероятности. Для любой группы вероятности 0 и 1 одинаковы. Кроме, того, ни одна кодовая комбинация не является началом другой – это необходимо для их разделения.

Максимально возможная скорость передачи бинарного канала, как следует из (2.5) составляет

. (2.18)

Подсчитаем скорость передачи информации, которая обеспечивается полученным кодом.

Пусть длительность символов кода = τ. Тогда средняя длительность кодовых комбинаций:

.

Средняя энтропия на символ сообщения:

бит/сек.

Таким образом, скорость передачи информации

.

Следовательно, полученный код позволил получить максимально возможное значение скорости передач информации, т.е. обеспечить полное согласование статистических характеристик источника сообщения со свойствами канала.

При кодировании двоичным равномерным кодом, где каждый символ передается двухразрядной комбинацией, т.е. длительность каждого символа равна 2τ скорость передачи составит:


.

Таким образом, неэффективный код не полностью использует канал связи, имея большую среднюю длительность передачи каждого символа.


Литература:

[1] стр. 135-136. [3] стр. 109-112.


Контрольные вопросы:


  1. Каким должен быть экономный код: равномерным или неравномерным?

  2. Применимо ли эффективное кодирование для бинарного источника?

  3. Чем определяется пропускная способность бинарного канала связи?

  4. Что называется избыточностью алфавитного источника?

2.7. Пропускная способность дискретного канала с шумами

Рассмотрим систему связи, состоящую из источника дискретной информации, канала связи и приемника. Обозначим через Х – систему символов, вырабатываемых источником; через Y – систему символов, появление которых возможно на приемном конце канала.

Информация о системе Х, которую можно получить через систему Y, как следует из (2.10), равна:

IY↔Х = H(Y) – H(Y/X) = H(X) – H(X/Y). (2.19)

Условную информацию H(X/Y) логично рассматривать как потерю информации в канале связи на один символ, вызванную действием помех.

При передаче сообщения ХТ длительность Т взаимная информация:

I(YТ↔ХТ) = H(XТ) – H(XТ/YТ),

где YТ – колебание на выходе канала в промежутке времени 0 + Т.

Величину

, (2.20)

определяющую количество информации, передаваемой по каналу связи в единицу времени, будем называть скоростью передачи информации. Величина есть скорость передачи информации на вход канала и зависит от свойств источника сообщения и способа кодирования.


Условная энтропия, приходящаяся на единицу времени , зависит от энергетических и вероятностных характеристик сигнала и помех, возникающих в канале.

Таким образом, скорость передачи информации определяется свойствами источника и канала, и, меняя эти свойства, можно менять скорость передачи информации.

При отсутствии помех H(X/Y) = 0, поэтому при заданной величине скорость передачи информации при наличии помех (1.17) всегда ниже, чем при отсутствии помех.

Верхний предел скорости передачи информации при фиксированных ограничениях называется пропускной способностью канала связи:

.

При рассмотрении работы канала связи с шумами неизбежно возникает такой вопрос: возможна ли принципиальная передача сообщений без ошибок по каналу с шумами? Ответ на этот вопрос дает следующая теорема Шеннона.

Пусть даны стационарный канал с конечной памятью и пропускной способностью С и источник с производительностью

< С.

Тогда существует код, обеспечивающий передачу информации со сколь угодно малой вероятностью ошибки.

При условии < С, код можно выбрать таким, чтобы скорость передачи информации была сколь угодно близкой к производительности источника.

Если же > С, то не существует кода, обеспечивающего сколь угодно малую вероятность ошибки.

Выводы теоремы имеют асимтотичекий характер: они тем более справедливы, чем длиннее кодируемые блоки.


Следует подчеркнуть, что теорема не указывает способов построения оптимальных кодов. Таким образом, теорема указывает верхний предел увеличения скорости передачи информации, не указывая путей достижения этого предела.


Литература:

[1] стр. 143-144. [2] стр. 238-245. [3] стр. 114-117.


Контрольные вопросы:


  1. Как количественно определяется потеря информации в дискретном канале связи с шумами?

  2. Чем определяется пропускная способность канала связи?

  3. В чем суть теоремы Шеннона для дискретного канала связи с шумами?


2.8. Пропускная способность непрерывного канала связи с шумами

Информация о непрерывном сигнале s(t), получаемая из принимаемой смеси сигнала и шума g(t) = s(t) + n(x)

I(Y, S) = H(Y) – H(Y/S). (2.21)

Так как сигнал и шум статистически независимы, энтропия равна энтропии шума (как случайной величины, сигнал детерминирован и энтропия от него H(S)=0)

H(Y/S) = H(n)

И тогда

I(Y, S) = H(Y) – H(n). (2.22)

Входной сигнал ограничим по полосе пропускания и определим отсчеты по Котельникову (отсчеты независимы и некоррелированы)

.

Количество информации о текущем значении передаваемого сигнала s(t), вносимое дискретным отсчетом принимаемого сигнала y(t), может быть представлено разностью энтропий (приведенных, т.к. процесс непрерывный):

I(Y, S) = H*(Y) – H*(n);

.

Отсчеты y(t) = s(t) + n(t) распределены по Гаусу с дисперсией .

(2.23)


Скорость передачи информации – это количество информации в единицу времени, т.е.

,

т.к. ; , и окончательно (формула Шеннона):

(2.24)

Если Рsш → 0, то С → 0.

Величину (1 + Рsш) – характеризует количество уровней непрерывного сигнала, различимых на фоне шума при данном отношении Рsш. Поэтому количество информации, приходящееся на 1 отсчет, будет в данном случае таким же, как для дискретного источника с числом состояний (1 + Рsш).

Казалось бы, что можно увеличить С с увеличением полосы ΔF. Исследуем это предположение.

Преобразуем полученные выражения:

Рш = N0  ΔF,

тогда

С = ΔF  log2(1 + Рs / N0  ΔF).

Устремим ΔF → ∞ и раскроем неопределенность

. (2.25)

Пропускная способность стремится к const.

, т.к. log2e = 1,443

С стремится к const, определяемой отношением средней мощности сигнала Ps к спектральной плотности шума.

Т.е. обмен мощности сигнала на полосу пропускания для обеспечения заданной пропускной способности непрерывного канала возможен в небольших границах, за которыми дальнейшее расширение полосы пропускания дает уже малый эффект.


Как следует из С, для передачи заданного количества информации по каналу с шумом отношение энергии сигнала к спектральной плотности шума h2 = PsT / N0 (I = C  Т – на время сигнала) должно превышать некоторую пороговую величину. В самом деле, если на передачу сообщения затрачено время ΔТ, то среднее количество переданной информации, I(Y,S) ≤ TC∞, т.к. пропускная способность канала при любой полосе ∆F не может превзойти предельное значение (∆F → ∞). Таким образом, I(Y,S) ≤ (PsT/N0)log2e и, следовательно, для передачи 1 бита информации необходима энергия сигнала .

. (2.26)

Максимальный объем информации, которую можно в среднем передать по непрерывному каналу за время Тк: V = Тк  С, т.е. для Гаусова канала

Vк = Тк Fк log2(1 + ).

Если принять, что Ps/Pш >> 1 и единицей пренебречь

Vк = Тк  Fк  log2() = Тк  Fк  Dк. (2.27)

где Vк – емкость канала;

D – динамический диапазон (в логарифмах).

Объем сигнала

Vс = Тс  Fс  Dс. (2.28)


Неискаженная передача возможна только при условии

Vс ≤ Vк.




Рис. 2.3.


Важно передавать "объем" сигнала, а не его форму. Это дает возможность "трансформировать" объем. Например, уменьшение полосы частот (ΔF) должно приводить к увеличению времени (Тк) для сохранения объема или к увеличению Dк – динамического диапазона, и наоборот.

Сравним пропускные способности дискретного и непрерывного каналов.

Для непрерывного канала:



пронормируем по ∆F

. (2.29)

Для дискретного канала с шумами:



или



и тогда

; ;

.

Для бинарного канала с учетом по Котельникову

.

Для бинарного канала L = 2

.

. (2.30)

Для бинарного сигнала



математическое ожидание (осреднение):

,

q0 – вероятность ошибки P(xi / yк).



тогда

.

Пронормируем по ∆F

.

, если q0 → 0 (при )

Если основание не 2, а m, то



и

. (2.31)

При m → ∞, → к непрерывному.


Рис. 2.4.

Для непрерывного канала монотонно возрастает, для бинарного ограниченно (2 бит), для m-ичного больше.


Литература:

[1] стр. 141-148. [2] стр. 252-255. [3] стр. 124-129.


Контрольные вопросы:


  1. Как влияет расширение полосы часто на пропускную способность непрерывного канала связи?

  2. Чему равна минимальная энергия для передачи сигналов?

  3. Как объем алфавита источника влияет на пропускную способность канала связи?
  4. Чему равна пропускная способность канала связи, составленного из последовательного соединения нескольких каналов с различными пропускными способностями? А при параллельном соединении?

  5. Как "согласовать" канал связи с сигналом?




1 Понятие усреднения (определение среднего значения), процедура которого обозначается символом М[ ] (см лекцию 1)