litceysel.ru
добавить свой файл
1

ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3


ЛЕ ХАЙ НАМ

Московский физико-технический институт (государственный университет)

lehainam71174@mail.ru


НЕЛИНЕЙНЫЙ ЭКВАЛАЙЗЕР С ИСПОЛЬЗОВАНИЕМ

РЕКУРРЕНТНОЙ НЕЙРОННОЙ СЕТИ


Аннотация

Предложен комплексный рекуррентный нейросетевой эквалайзер с алгоритмом Расширенного Фильтра Калмана (РФК) для 4-КАМ. Использование алгоритма РФК ускоряет сходимость процесса обучения рекуррентной нейронной сети. Качество предложенной нейронной сети сравнивается с традиционным эквалайзером с алгоритмом наименьших квадратов и рекуррентным нейросетевым эквалайзером с алгоритмом обратного распространения на строгих нелинейных каналах.

Введение. Непрерывное развитие рынка телекоммуникаций требует повышения эффективности спектра на ограниченных по полосе каналах, что соответствует передаче данных с высокой скоростью и что повышает чувствительность к помехам канала. Данная проблема порождала необходимость создания более эффективного эквалайзера для компенсации влияния канала. Недавно нейросетевые эквалайзеры были предложены и быстро заменили классические эквалайзеры. Многослойные нейронные сети с прямой связью, сети с радиальной базисной функцией и рекуррентные нейронные сети нашли широкое применение в решении проблем выравнивания. По сравнению с нейронной сети с прямой связью рекуррентная нейронная сеть показывала лучшее качество благодаря тому, что рекуррентная нейронная сеть приближается к бесконечной импульсной характеристике (БИХ) [5, 7, 18], тогда как нейронная сеть с прямой связью только приближается к конечной импульсной характеристике (КИХ) [10]. Однако недостаток рекуррентной нейронной сети состоит в медленности сходимости алгоритма обучения. В ряде трудов [5, 7, 11, 12, 15-18] исследовалось ускорение скорости сходимости рекуррентной нейронной сети, но в строгих нелинейных каналах однослойный рекуррентный нейросетевой эквалайзер не дают удовлетворительный результат. В этой работе предложена рекуррентная двухслойная сеть с алгоритмом расширенного фильтра Калмана, которая применяется на строгом нелинейном канале [13]. В работе описаны алгоритм обучения и результаты моделирования.


Нейросетевый эквалайзер. Структура нейросетевого эквалайзера показана на рис. 1.





Рис.1. Схема рекуррентного нейросетевого эквалайзера


Входной сигнал нейронной сети. Входным сигналом нейронной сети в момент времени n является вектор x=[x(n),…,x(n- NI -1)]T , где x(n) – принимаемый сигнал на входе приёмника

=

, (1)

где комплексная информационная последовательность s(n) передана через дисперсионный комплексный канал, и выход канала искажается комплексным аддитивным шумом, fh(.) – комплексная функция (может быть либо линейной, либо нелинейной), nh – длина канала КИХ, NI – размер эквалайзера, являющийся также размером входного вектора нейронной сети, γ(n) – гауссов шум.

Выходной сигнал нейронной сети. Задача решения эквалайзера состоит в восстановлении переданных символов s(n) на основе вектора последовательности символов x=[x(n),…,x(n-m+1)]T, где τ – задержка решения эквалайзера.

Выходным сигналом нейронной сети в момент времени n является комплексное значение y(n-τ), соответствующее оценке переданного сигнала s(n).

Желаемый выходной сигнал нейронной сети. Желаемым выходным сигналом нейронной сети в момент времени n является переданный сигнал s(n).


Структура рекуррентной нейронной сети. Предложенная рекуррентная нейронная сеть состоит из двух слоев: скрытый и выходной слой. Количество нейронов входного и скрытого слоя соответственно - NI и NH.

Активация j-го нейрона скрытого слоя вычисляется по формуле:

, (2)

где

, (3)

, (4)

– вес связи от рекуррентного нейрона выходного слоя к j-му нейрону скрытого слоя, – вес связи от i-го нейрона входного слоя к j-му нейрону скрытого слоя, – вес связи от i-го рекуррентного нейрона скрытного слоя к j-му нейрону скрытного слоя, - значение рекуррентного нейрона выходного слоя, – значение i-го рекуррентного нейрона скрытого слоя.

Значение выхода j-го нейрона скрытого слоя вычисляется по формуле

. (5)

Активация выходного нейрона вычисляется следующим образом:

, (6)

где

, (7)


, (8)

– вес связи от рекуррентного нейрона выходного слоя к выходному нейрону, – вес связи от j-го нейрона скрытого слоя к выходному нейрону.

Выходное значение нейронной сети вычисляется по формуле:

. (9)

Функция активации. Вообще, функция активации очень важна, потому что её нелинейностью нейронная сеть отличается от обычной линейной системы. Выбор этих функций зависит от того, как мы хотим представить выходные значения. В этой работе комплексная функция активации предложена следующим образом:

F(Z)=f(zR)+jf(zI), (10)

где f(.) – реальная функция, определенная по формуле [6]:

f(x) = ax + bsin (aπx), (11)

где b – наклонный параметр, определяющий степень нелинейности, есть положительная действительная константа.

Алгоритм обратного распространения. В процессе обучения для настройки параметров сети используется алгоритм обратного распространения ошибки.

Функция ошибки определяется следующим образом:

. (12)

Веса нейронной сети МСП обновляются следующим образом:

; j=1…NH , (13)

, (14)

; j=1…NH ; i=1…NI , (15)

; j=1…NH ; i=1…NH , (16)

; j=1…NH , (17)

где η – шаг обучения.

, (18)

, (19)

(20)

(21)

(22)

Алгоритм расширенного фильтра Калмана. Поведение нейронной сети описывается следующей нелинейной дискретной системой [3]:

, (23)

. (24)

Уравнение процесса (23) показывает, что состояние идеальной нейронной сети описывается как стационарный процесс, искажающийся процессом шума ω(k), где состояние системы характеризуется весами нейронной сети w(k). Уравнение наблюдения (24) представляет желательный выход нейронной сети как нелинейную функцию от входного вектора x(k), весового вектора w(k), и рекуррентного вектора y(k-1), H(k-1). Эта функция дополняется случайным шумом наблюдения, который определяется как белый шум с нулевым средним и ковариацией . Процесс шума ω(t) также определяется как белый шум с нулевым средним и ковариацией .


Обучение нейронной сети с использованием теории фильтра Калмана можно рассматривать как поиск наименьшей среднеквадратичной ошибки (СКО) состояния w на основе всех наблюденных данных.

Вектор весов связи от скрытого слоя к выходному слою определяется следующим образом:

. (25)

Вектор весов связи от рекуррентного слоя выхода к скрытому слою определяется следующим образом:

. (26)

Вектор весов связи от рекуррентного слоя выхода к выходному слою определяется следующим образом:

. (27)

Вектор весов связи от входного слоя к скрытому слою определяется следующим образом:

. (28)

Вектор весов связи от рекуррентного слоя к скрытому слою определяется следующим образом:

.

(29)

Весовой вектор нейронной сети wt определяется следующим образом:

. (30)

Выходной вектор нейронной сети определяется следующим образом:

. (31)

Матрица градиента нейронной сети вычисляется по формуле:

, (32)

где


(33)

, (34)



(35)


(36)

(37)

Алгоритм расширенного фильтра Калмана представляется следующим образом [3]:

, (38)

, (39)

, (40)

, (41)

где вектор представляет оценку состояния системы на k-м шаге. Эта оценка является функцией от матрицы усиления Калмана K(k) и вектора ошибки . Матрица усиления Калмана является функцией от ковариационной матрицы приближенной ошибки P(k), матрицы градиента G(k) и матрицы A(k). Матрица градиента вычисляется по формуле (32). Наконец, матрица A(k) является функцией от ковариационной матрицы шума наблюдения R(k), матриц P(k) и G(k).

Матрицы шумов наблюдения и процесса R(k) , Q(k) и ковариационная матрица приближенной ошибки P(k) устанавливаются в исходное состояние обучения следующим образом:

, (42)

, (43)


, (44)

где I единичная матрица, μ, ρ, ξ- параметры.

Алгоритм расширенного фильтра Калмана представлен на рис. 2.





Рис.2. Диаграмма алгоритма расширенного фильтра Калмана


Моделирование. Моделирование проведено на нелинейном канале с сигналом 4-КАМ. Модель канала предложена как в [13].

,

. (45)

В моделировании применяется модуляция 4-КАМ. Предложенный эквалайзер сравнивается с традиционным эквалайзером с алгоритмом наименьших квадратов (НК) и с рекуррентным нейросетевым эквалайзером с алгоритмом обратного распространения (ОР). Параметры традиционного эквалайзера выбраны следующим образом: количество задержания NI=3; шаг обучения η=0.02. Параметры рекуррентной нейронной сети: NI=3, NH=3, a=0.5, b=0.3. Алгоритм обратного распространения имеет шаг обучения η = 0.02. Алгоритм РФК имеет параметры μ = 0.01, ρ= 0.01, ξ = 0.1. Начальные значения весов выбираются случайно и меньше 10-3. Результат моделирования показан на рис. 3 и 4.




а) б)


в) г)


Рис. 3. а) Схема созвездия сигналов 4 КАМ на входе эквалайзера. б) Схема созвездия сигналов 4 КАМ на выходе традиционного эквалайзера. в) Схема созвездия сигналов 4 КАМ на выходе рекуррентного двухслойного нейросетевого эквалайзера с алгоритмом обратного распространения. г) Схема созвездия сигналов 4 КАМ на выходе предложенного нейросетевого эквалайзера




а) б)


Рис. 4 а) Сравнение среднеквадратичной ошибки.

б) Результаты вероятности ошибки на бит


Заключение. В данной работе представлен рекуррентный нейросетевой эквалайзер с алгоритмом расширенного фильтра Калмана для сигнала 4-КАМ. Качество эквалайзера оценивается на строгом нелинейном канале и его среднеквадратичная ошибка (СКО) и вероятность ошибки на бит (ВОБ) сравниваются с традиционными эквалайзерами и рекуррентным двухслойным неросетевым эквалайзером с алгоритмом обратного распространения. Сравнение показывает, что предложенный эквалайзер даёт превосходящее качество.


Список литературы


  1. Proakis J. G., Digital Communication, Mc Graw-Hill, 1995.

  2. Haykin S., Neural Networks: a Comprehensive Foundation, 2nd Ed. Upper Saddle River, NJ: Prentice Hall, 1999.

  3. Haykin S., Kalman Filtering and neural networks, John Wiley and Sons, 2001.

  4. Kechriotis G., E. Zervas, E. S. Manolakos, Using Recurrent Neural Networks for Adaptive Communication Channel Equalization, IEEE Trans on Neural Networks, vol. 5, No. 2, 1994, p. 267-278.
  5. Puskorius G. V. and Feldkamp L. A., Neurocontrol of Nonlinear Dynamical Systems with Kalman Filter Trained Recurrent Networks, IEEE Transactions on Neural Networks, vol. 5, March 1994, p. 279-297.


  6. Cheolwoo You and Daesik Hong, Adaptive Equalization Using the Complex Backpropagation Algorithm, IEEE International Conference on Neural Network, 1996, vol.4, pp. 2136-2141.

  7. Parisi R., Di Claudio E. D., Orlandi G., Rao B. D., Fast Adaptive Digital Equalization by Recurrent Neural Networks, IEEE Trans on Signal Processing, vol. 45, No. 11, 1997, p. 2731-2739.

  8. Ong S., You C., Choi S., and Hong D., A Decision Feedback Recurrent Neural Equalizer as an Infinite Impulse Response Filter, IEEE Transactions on Signal Processing, vol. 45, November 1997, p. 2851-2858.

  9. Hacioglu K., An Improved Recurrent Neural Network for M-PAM Symbol Detection, IEEE Transactions on Neural Networks, vol. 8, May 1997, p. 779–783.

  10. Choi S., Linear Neural Networks with FIR Synapses for Blind Equalization, proceedings of ITC-CSCC, 13-15 July 1998, p. 1081-1084.

  11. Coelho P. H. G., A complex EKF-RTRL Neural network, Proceedings of International Joint Conference on Neural Networks (IJCNN), 15-19 July 2001, p. 120-125.

  12. Coelho P. H. G., A New State Space Model for a Complex RTRL Neural Network, Proceedings of International Joint Conference on Neural Networks (IJCNN), 15-19 July 2001, p. 1756-1761.

  13. Xiaoqiu Wang, Hua Lin, Jianming Lu, Yahagi, Yahagi T. and Lu Lab., Channel Equalization Using Complex-Valued Recurrent Neural Network, Proceedings. ICII 2001-Beijing. 2001, Vol.3, p. 498-503.

  14. Dong-Chul Park, Tac-Kyun Jung Jcong, Complex- Bilinear Recurrent Neural Network for Equalization of a Digital Satellite Channel, Trans. on Neural Networks, Vol. 13, No. 3, May 2002, p. 711-725.

  15. Goh S. L., Mandic D. P., Recurrent Neural Networks With Trainable Amplitude of Activation Functions, Neural Network 16, 2003, p. 1095-1100.
  16. Y. Tsuda and T. Shimamura, An Improved NLMS Algorithm For Channel Equalization, Tech. Rep. of the IEICE, Vol.102, No.14, Japan Apr. 2002, p. 353-356.


  17. Chi-Sing Leung and Lai-Wan Chan, Dual Extended Kalman Filtering in Recurrent Neural Networks, Neural Networks 16, 2003, p. 223-239.

  18. Jongsoo Choi, Bouchard M. and Yeap T.H., Decision Feedback Recurrent Neural Equalization With Fast Convergence Rate, IEEE Trans. on Neural Networks, Vol. 16, No. 3, May 2005, p. 699-708.




УДК 004.032.26(06) Нейронные сети