El perceptron multicapa (MLP)

Este es uno de los tipos de redes m�s comunes. Se basa en otra red mas simple llamada perceptr�n simple solo que el n�mero de capas ocultas puede ser mayor o igual que una. Es una red unidireccional (feedforward). La arquitectura t�pica de esta red es la siguiente:

Las neuronas de la capa oculta usan como regla de propagaci�n la suma ponderada de las entradas con los pesos sin�pticos w_ij y sobre esa suma ponderada se aplica una funci�n de transferencia de tipo sigmoide, que es acotada en respuesta.

El aprendizaje que se suele usar en este tipo de redes recibe el nombre de retropropagacion del error (backpropagation). Como funcion de coste global, se usa el error cuadratico medio. Es decir, que dado un par (x_k, d_k) correspondiente a la entrada k de los datos de entrenamiento y salida deseada asociada se calcula la cantidad:
que vemos que es la suma de los errores parciales debido a cada patr�n (�ndice p), resultantes de la diferencia entre la salida deseada d_p y la salida que da la red f(.) ante el vector de entrada x_k. Si estas salidas son muy diferentes de las salidas deseadas, el error cuadratico medio sera grande. f es la funci�n de activaci�n de las neuronas de la capa de salida e y la salida que proporcionan las neuronas de la ultima capa oculta.
Sobre esta funci�n de coste global se aplica algun procedimiento de minimizaci�n. En el caso del MLP se hace mediante un descenso por gradiente. Las expresiones que resultan aplicando la regla de la cadena son las siguientes:
Siendo y_k las salidas de la capa oculta.
El aprendizaje por backpropagation queda como sigue:

1. Inicializar los pesos y los umbrales iniciales de cada neurona. Hay varias posibilidades de inicializaci�n siendo las mas comunes las que introducen valores aleatorios peque�os.
2. Para cada patr�n del conjunto de los datos de entrenamiento
   
   < >Obtener la respuesta de la red ante ese patr�n. Esta parte se consigue propagando la entrada hacia adelante, ya que este tipo de red es feedforward. Las salidas de una capa sirven como entrada a las neuronas de la capa siguiente, procesandolas de acuerdo a la regla de propagaci�n y la funci�n de activaci�n correspondientes.
   Calcular los errores asociados seg�n la ecuaci�n 3-2
   Calcular los incrementos parciales (sumandos de los sumatorios). Estos incrementos dependen de los errores calculados en 2.b
   Calcular el incremento total ,para todos los patrones, de los pesos y los umbrales seg�n las expresiones en la ecuaci�n 3-2
3. Actualizar pesos y umbrales
4. Calcular el error actual y volver al paso 2 si no es satisfactorio.