Kernel Methods for Nonlinear Identification, Equalization and Separation of Signals

TL;DR: In this paper, the authors study the application of kernel methods in signal processing in this work, including the blind source separation, and the kernel recursive least-squares (KRLS) algorithm.

Abstract: espanolEn la ultima decada, los metodos kernel (metodos nucleo) han demostrado ser tecnicas muy eficaces en la resolucion de problemas no lineales. Parte de su exito puede atribuirse a su solida base matematica dentro de los espacios de Hilbert generados por funciones kernel ("reproducing kernel Hilbert spaces", RKHS); y al hecho de que resultan en problemas convexos de optimizacion. Ademas, son aproximadores universales y la complejidad computacional que requieren es moderada. Gracias a estas caracteristicas, los metodos kernel constituyen una alternativa atractiva a las tecnicas tradicionales no lineales, como las series de Volterra, los polinomios y las redes neuronales. Los metodos kernel tambien presentan ciertos inconvenientes que deben ser abordados adecuadamente en las distintas aplicaciones, por ejemplo, las dificultades asociadas al manejo de grandes conjuntos de datos y los problemas de sobreajuste ocasionados al trabajar en espacios de dimensionalidad infinita. En este trabajo se desarrolla un conjunto de algoritmos basados en metodos kernel para resolver una serie de problemas no lineales, dentro del ambito del procesado de senal y las comunicaciones. En particular, se tratan problemas de identificacion e igualacion de sistemas no lineales, y problemas de separacion ciega de fuentes no lineal ("blind source separation", BSS). Esta tesis se divide en tres partes. La primera parte consiste en un estudio de la literatura sobre los metodos kernel. En la segunda parte, se proponen una serie de tecnicas nuevas basadas en regresion con kernels para resolver problemas de identificacion e igualacion de sistemas de Wiener y de Hammerstein, en casos supervisados y ciegos. Como contribucion adicional se estudia el campo del filtrado adaptativo mediante kernels y se proponen dos algoritmos recursivos de minimos cuadrados mediante kernels ("kernel recursive least-squares", KRLS). En la tercera parte se tratan problemas de decodificacion ciega en que las fuentes son dispersas, como es el caso en comunicaciones digitales. La dispersidad de las fuentes se refleja en que las muestras observadas se agrupan, lo cual ha permitido disenar tecnicas de decodificacion basadas en agrupamiento espectral. Las tecnicas propuestas se han aplicado al problema de la decodificacion ciega de canales MIMO rapidamente variantes en el tiempo, y a la separacion ciega de fuentes post no lineal. EnglishIn the last decade, kernel methods have become established techniques to perform nonlinear signal processing. Thanks to their foundation in the solid mathematical framework of reproducing kernel Hilbert spaces (RKHS), kernel methods yield convex optimization problems. In addition, they are universal nonlinear approximators and require only moderate computational complexity. These properties make them an attractive alternative to traditional nonlinear techniques such as Volterra series, polynomial filters and neural networks. This work aims to study the application of kernel methods to resolve nonlinear problems in signal processing and communications. Specifically, the problems treated in this thesis consist of the identification and equalization of nonlinear systems, both in supervised and blind scenarios, kernel adaptive filtering and nonlinear blind source separation. In a first contribution, a framework for identification and equalization of nonlinear Wiener and Hammerstein systems is designed, based on kernel canonical correlation analysis (KCCA). As a result of this study, various other related techniques are proposed, including two kernel recursive least squares (KRLS) algorithms with fixed memory size, and a KCCA-based blind equalization technique for Wiener systems that uses oversampling. The second part of this thesis treats two nonlinear blind decoding problems of sparse data, posed under conditions that do not permit the application of traditional clustering techniques. For these problems, which include the blind decoding of fast time-varying MIMO channels, a set of algorithms based on spectral clustering is designed. The effectiveness of the proposed techniques is demonstrated through various simulations.