Existe una gran variedad de estructuras de redes neuronales, cada una de las cuales tiene diversas características. Podemos dividir las arquitecturas en tres grandes grupos:

• Redes de alimentación progresiva
• Redes con alimentación lateral
• Redes recurrentes

Muchas redes están organizadas en forma de capas o niveles, donde los nodos de procesamiento están organizados en capas. En una red de alimentación progresiva los elementos de una capa se comunican solamente con los elementos de la siguiente capa. En las redes con alimentación lateral se permiten conexiones entre elementos de la misma capa. Las redes recurrentes son redes con conexiones hacia atrás. En la siguiente figura vemos un ejemplo una red de alimentación progresiva.

Red neuronal de alimentación progresiva

El perceptrón fue creado por el psicólogo Frank Rosenblatt a finales de la década de 1950. Son un ejemplo de redes de alimentación progresiva. Es una red neuronal de dos capas, una de entrada y otra de salida. Definamos que entendemos por capa de entrada y por capa de salida:
Hay otro tipo de capas, en las redes neuronales, llamadas capas intermedias u ocultas:
Representar funciones booleanas como el AND, el OR o la negación es sencillo, por ejemplo para representar el AND:

• Capa de Salida: un nodo de procesamiento se encuentra en la capa de salida de una red neuronal (N, U) si es la salida de un nodo de U y no es la entrada de ningún nodo de U.
• Capa de entrada: un nodo de procesamiento se encuentra en la capa de entrada de una red neuronal (N, U) si es la entrada  de un elemento de U y no es la salida de ningún nodo de U.

Hay otro tipo de capas, en las redes neuronales, llamadas capas intermedias u ocultas:

• Capa Intermedia: un nodo de procesamiento se encuentra en la capa intermedia de una red neuronal (N, U) si es la entrada  de al menos un elemento de U y además es la salida de algún elemento de U.

Representar funciones booleanas como el AND, el OR o la negación es sencillo, por ejemplo para representar el AND:

Representación del AND por un perceptron

 
Poniendo el umbral en 1.5 y dando a cada entrada el mismo peso de 1, el perceptrón dará como salida 1 cuando las dos unidades están activas, y 0 en otro caso (usando por ejemplo la función de paso escalón). Es sencillo que un perceptrón pueda reconocer un patrón que sea una función de mayoría, es decir que produce 1 cuando la mayoría de las entradas es 1.
La idea de tener una red de perceptrones con varias unidades de entrada y varias unidades de salida, es que aprenda a reconocer patrones. Los patrones de entrada pueden representarse como un vector donde cada elemento del mismo es una entrada. A su vez, la salida también puede ser un vector con los valores correspondientes. Gracias a los trabajos de Rosenblatt se pudo demostrar lo que se conoce como teorema de convergencia del perceptrón.Lo que dice este teorema en esencia, es que para un perceptrón con una unidad de salida que intenta aprender a diferenciar tramas de dos tipos diferentes, entonces la clasificación entre esos tipos puede ser aprendida por el perceptrón y además será aprendida en un número finito de ciclos de entrenamiento.
Ahora bien, ¿qué es un ciclo de entrenamiento?. Inicialmente el perceptrón no puede distinguir tramas interesantes, pero durante una serie de pasos se incrementan o decrementan los pesos W. Por ejemplo, se ingresa una trama y el estímulo se propaga hacia la salida, entonces se incrementan los pesos de las unidades que hubieran contribuido a la salida correcta y se decrementan los pesos que contribuyen a la salida incorrecta.
 
El libro de Minsky y Papert demuestra que hay límites en cuanto a los problemas para los cuales puede utilizarse el perceptrón. Básicamente un perceptrón no puede distinguir tramas que no sean linealmente separables.Para comprender lo que significa linealmente separable, debemos comprender qué puede identificar un perceptrón. La ecuación , donde  f es la función de activación, W_j los pesos correspondientes a las entradas y x_j las entradas, es la que determina  si el perceptrón se activa o no. Sin pérdida de generalidad, se puede suponer el umbral integrado como una entrada más y el uso de alguna de las funciones de activación vistas. La sumatoria es ni más ni menos que el producto escalar entre dos vectores W = <W₁…..W_n> y X= <x₁…x_n>, es decir es igual a: W ·X .
Es trivial deducir que el perceptrón se activará cuando:W ·X > 0 y no se activará si:
Si el espacio de entrada tiene n elementos decimos que es n-dimensional (hiperespacio). La ecuación W ·X = 0 define un plano n-dimensional (denominado hiperplano) que divide el hiperespacio en dos, el perceptrón podrá reconocer tipos de tramas que puedan ubicarse a un lado y a otro del mismo. Es fácil visualizarlo en un espacio de dos dimensiones, por ejemplo tomemos las funciones AND y XOR, la primera se puede reconocer con el perceptrón que mostramos anteriormente, pero la segunda no, ya que es imposible ubicar un plano (en este caso una recta) dividiendo las dos tramas posibles (una trama que sea verdadera o que sea falsa). En este caso, una trama es un par donde cada elemento puede tomar valores 0 o 1 (0= falso, 1 = verdadero). La función XOR es conocida como el OR excluyente, el cual da verdadero sólo si uno y solamente uno de los valores de entrada es verdadero, es decir las tramas (1,0) y (0,1). Veamos gráficamente los dos casos:

 
En el gráfico de la izquierda se muestra (el espacio de entrada de) la relación XOR. Los puntos en blanco significan que la función devolvería 0 y los puntos en negro que devolvería 1. Este espacio de entradas es de dos dimensiones (notar que la función transcurre en tres dimensiones, ya que el perceptrón sólo toma dos valores 1/0, entonces la función siempre tiene un espacio de n+1, siendo n las dimensiones del espacio de entrada, es decir la función es una aplicación de Nⁿ->(1,0). El gráfico de la derecha muestra la relación  AND con las mismas convenciones. La línea de puntos es el plano representado por la ecuación W ·X = 0, la inclinación y posición dependerá de los valores de W.  Es fácil ver que no se puede encontrar una recta para dividir a los dos tipos de tramas en la función XOR, lo cual indica que XOR no es linealmente separable y por lo tanto no es reconocible por un perceptrón.
 

Actividad

• Realizar los gráficos para la función booleana OR y determinar si ésta es linealmente separable

En resumen, lo que se trata es de encontrar un hiperplano que pueda dividir los tipos de entradas. Un hiperplano en un espacio n-dimensional es un objeto de n-1 dimensiones. En un espacio bidimensional un hiperplano es una recta, en un espacio tridimensional un hiperplano es un plano.
¿Es posible construir una red neuronal que reconozca una función que no es linealmente separable?. Para responder esta pregunta veamos que pasa con el XOR. Claramente es imposible con una unidad de procesamiento, que reciba la entrada y de una salida, por lo visto anteriormente, pero ¿que pasa si agregamos una capa oculta?. La idea de agregar una capa oculta se basa en incorporar otro hiperplano para separar las tramas. Es posible, si agregamos más hiperplanos, dividir el hiperespacio de entrada en tantas partes como sean necesarias para separar los distintos tipos de trama. En el gráfico vemos una red con una capa oculta que puede reconocer el XOR :

 
Veamos un gráfico de cómo se divide el hiperespacio de entrada:

 
El gráfico muestra el hiperespacio dividido en tres partes separando las tramas de entrada para diferenciarlas