La predicción con neuronas

El perceptrón de 1957

El perceptrón, creado en 1957 por Frank Rosenblatt, es un algoritmo de aprendizaje supervisado, que presenta una diferencia importante respecto a los que hemos estudiado y utilizado en el capítulo anterior su diseño, procedente de las ciencias cognitivas.

El perceptrón, que vamos a conocer en breve, bajo su forma más sencilla también se denomina neurona formal (resultado de los trabajos de McCulloch y Pitts en 1943) y su objetivo es separar las observaciones en dos clases (o grupos) distintos con la condición de que sus datos sean linealmente separables. Su función es clasificar.

Datos linealmente separables

El perceptrón simple monocapa o neurona formal solo puede clasificar datos linealmente separables. Cuando los datos no sean linealmente separables utilizaremos un perceptrón multicapa. En el capítulo siguiente tendremos ocasión de descubrir sus principios y funcionamiento.

Como sabemos hasta ahora, los datos linealmente separables son los que se pueden separar mediante una recta. Para modelizar este concepto de manera sencilla, vamos a utilizar las funciones lógicas AND, OR y XOR (OR exclusivo). Consideremos dos elementos, A y B. Si un resultado dependiente de A y de B se calcula aplicando la lógica AND para A y B, entonces:

Ahora, si el resultado depende de A y de B con la lógica OR.

Si representamos gráficamente estos dos casos, podemos comprobar que son linealmente separables.

Representación gráfica de las funciones lógicas AND y OR

Ahora vamos a considerar la siguiente regla, denominada OR Exclusivo o XOR:

Entonces obtenemos la siguiente tabla:

Si ahora representamos...

Funciones de activación, retropropagación y descenso del gradiente

Ahora vamos a ver en detalle el funcionamiento del perceptrón introduciendo conceptos con los que se encontrará cuando utilice las redes neuronales para realizar sus proyectos de clasificación.

Funciones de pérdida (Loss function)

Pronto se familiarizará con este término durante sus diversas experiencias con las redes neuronales

Una función de pérdida, o Loss function, es una función que evalúa la desviación entre las predicciones realizadas por la red neuronal y los valores reales de las observaciones utilizadas durante el aprendizaje. Cuanto menor es el resultado de esta función, más eficiente es la red neuronal. Su minimización, es decir, reducir al mínimo la desviación entre el valor predicho y el valor real para una observación dada, se hace ajustando los distintos pesos de la red neuronal.

Error = Prediccion_real - Prediccion_realizada 

Descenso de gradiente

Ya abordamos el descenso de gradiente en el capítulo Principales algoritmos de Machine Learning dedicado a las estadísticas, pero estamos seguros de que es necesario volver a mencionarlo ahora porque se trata de un concepto importante para la comprensión del funcionamiento de las redes neuronales.

El objetivo del descenso de gradiente es minimizar la función de error ajustando poco a poco los parámetros de aprendizaje representados por los distintos pesos.

Retomamos la imagen del descenso de la montaña. Usted se sitúa en el punto más alto de la montaña y quiere alcanzar la llanura que se encuentra más abajo. Sin embargo, es una noche oscura y no puede ver a dónde va.

Entonces avanzará poco a poco con pasos cortos hasta alcanzar la parte inferior del valle.

El descenso del gradiente corresponde a esta metáfora y se lleva a cabo mediante el ajuste de los distintos pesos de la red neuronal hasta obtener una convergencia, es decir, un mínimo de errores. Este ajuste se hace mediante pasos cortos, usando un hiperparámetro denominado tasa de aprendizaje (learning rate). 

No obstante...

El sesgo, una neurona particular

Hemos visto que la red neuronal está compuesta por neuronas de entrada que corresponden a los datos de una observación, y que se atribuye un peso a cada entrada. Esta pareja entrada/peso permite realizar la fase de propagación usando una función de activación.

Ahora, si queremos «forzar» el valor de la predicción para algunos valores de entrada, podemos hacerlo con la ayuda de lo que se denomina un sesgo.

Tomamos un ejemplo sencillo cuya función de activación es del tipo ReLU.

Imaginamos que nuestra neurona artificial está compuesta por 2 entradas con los valores 1 y 2, 2 pesos con los valores -0,45 y 0,1, y una salida.

El valor de esta salida se calcula como se describe a continuación:

ReLU (1 * -0,45 + 2 * 0,1) = 0

En efecto, la suma ponderada es igual a -0,25, pero como utilizamos una función de activación del tipo ReLU que pone a 0 todo valor negativo, la predicción es igual a 0. La predicción es, pues, igual al 0 %.

Ahora, si a partir de los mismos valores de entrada, queremos que el valor de la predicción sea diferente y que se active la neurona, vamos a utilizar un sesgo que tomará la forma de una neurona que tiene su propio peso y que de alguna manera va a forzar la predicción.

Añadimos una neurona que tomará el valor 1 (es el valor que tomará siempre el sesgo) con un peso de 0,6...

Caso práctico para comprender el perceptrón

Ahora vamos a detallar de manera numérica un ejemplo que nos permitirá comprender bien los conceptos que hemos visto hasta el momento. Pero no se asuste, los cálculos no serán complicados y seguirán siendo accesibles en términos de comprensión.

Como hemos visto al principio de este capítulo, el objetivo del perceptrón es clasificar las observaciones. Nosotros le proponemos crear un modelo capaz de determinar si un estudiante, según criterios precisos, puede ser admitido en una universidad de prestigio: IA Academy.

La admisión en esta universidad depende de superar algunos exámenes de entrada. La tabla que aparece a continuación reagrupa los distintos casos de admisiones y rechazos en función de la superación de los exámenes de matemáticas e informática.

Seguro que se ha dado cuenta de que la admisión en la universidad responde a la función lógica AND.

1. Inicialización del perceptrón

Vamos a inicializar nuestro perceptrón con una capa de 2 neuronas en la entrada, donde cada una de ellas corresponde a la superación de los exámenes, y una neurona de salida que permitirá clasificar al estudiante como admitido o rechazado en la universidad. Como complemento de las dos neuronas de entrada, vamos a añadir otra llamada sesgo (umbral), que tiene el objetivo de controlar la predisposición de la neurona a activarse o no y que siempre tomará el valor 1.

Ahora nuestro perceptrón está listo para aprender.

Observamos la notación particular de cada peso. W11, W21 y Wb. W significa Weight (Peso), seguida del número de la neurona y del número de la capa. Así, W11 se lee «peso de la primera neurona de la primera capa», W21, peso de la segunda neurona de la primera capa, y así sucesivamente. Wb significa peso (Weight) del sesgo (bias en inglés).

Neurona formal

Programamos nuestra primera neurona formal «From Scratch»

Es muy probable que tenga que leer los párrafos anteriores varias veces para comprenderlos totalmente. Por eso vamos a programar nuestra primera neurona formal como complemento del ejemplo numérico que hemos realizado antes. El objetivo es comprender bien toda la mecánica del aprendizaje mediante un ejemplo concreto.

Como ya tiene práctica, dejamos que cree un proyecto nuevo en el editor Pycharm usted solo y que añada un archivo de script nuevo al que llamaremos perceptron.py.

Para realizar el proyecto necesitaremos las bibliotecas matplotlib y numpy.

#-------------------------------------  
#    OBSERVACIONES Y PREDICCIONES  
#-------------------------------------  
  
observaciones_entradas = array([  
                             [1, 0],  
                             [1, 1],  
                             [0, 1],  
                             [1, 0]])  
  
  
predicciones = array([[0],[1], [0],[0]]) 

#Generación de los pesos en el intervalo [-1;1]  
random.seed(1)  
limiteMin = -1  
limiteMax = 1  
  
w11 = (limiteMax-limiteMin) * random.random() + limiteMin  
w21 = (limiteMax-limiteMin) * random.random() + limiteMin  
w31 = (limiteMax-limiteMin) * random.random() + limiteMin 

#El sesgo  
sesgo = 1  
wb = 0 

#Tasa de aprendizaje  
tsAprendizaje = 0.1  
  
#Cantidad de epoch  
epochs = 300 

Una neurona artificial con TensorFlow

Después de programar nuestra neurona artificial de manera «artesanal», ahora vamos a ver cómo utilizar el módulo TensorFlow para crear esta misma neurona artificial.

import tensorflow as tf  
  
  
#-------------------------------------  ...