Deep Learning esta aprendiendo a generalizar como nuestro cerebro

¡Deep Learning esta aprendiendo a generalizar como nuestro cerebro!

La palabra «sesgo» en IA a menudo se trata como una mala palabra. Pero para el Dr. Andreas Tolias, del Baylor College of Medicine en Houston, Texas, autor de un artículo publicado en Neuron, considera que el sesgo también puede ser la solución para una IA más inteligente y más humana.

No estoy hablando de prejuicios sociales, raciales o de género, sino más bien, es un tipo de sesgo «beneficioso» similar a las reglas genéticas que ayudan a inicializar nuestros cerebros mucho antes del nacimiento, el «sesgo inductivo» puede ayudar a reducir las infinitas formas en que se desarrollan las mentes artificiales; por ejemplo, guiándolos por un camino de «desarrollo» que eventualmente los haría más flexibles.

De alguna manera, la estructura innata de nuestros cerebros, cuando se combina con una pequeña experiencia mundana, nos permite generalizar fácilmente una solución a la siguiente. Las redes de aprendizaje profundo de vanguardia actualmente no pueden hacer esto.

Los autores del artículo, argumentan que “La próxima generación de algoritmos inteligentes no se logrará siguiendo la estrategia actual de hacer que las redes sean más grandes o más profundas. Quizás de manera contraintuitiva, podría ser exactamente lo contrario … necesitamos agregar más sesgos a los modelos de IA ”.

En pocas palabras: las IA no pueden traducir fácilmente su aprendizaje de una situación a otra, incluso cuando han dominado una sola tarea. Salpicar una imagen con ruido, por ejemplo, hace fallar un algoritmo de reconocimiento bien entrenado. Los humanos, por el contrario, pueden reconocer inconscientemente una cara parcialmente ocluida en un ángulo diferente y bajo diferentes luces, o nieve y lluvia.

No quiere decir que los algoritmos no muestren ningún tipo de transferencia en sus habilidades aprendidas. Pre-entrenar redes profundas en ImageNet, puede ser «sorprendentemente» beneficioso para todo tipo de otras tareas.

Sin embargo, esta flexibilidad por sí sola no es una bala de plata, argumentan los autores. Sin una serie de suposiciones correctas para guiar las redes neuronales profundas en su aprendizaje, «la generalización es imposible».

La restricción es clave

La clave, dijo el equipo, es agregar sesgo a los sistemas de aprendizaje profundo, «empujándolos» a un estilo de aprendizaje que imite mejor las redes neuronales biológicas.

Para cada tipo de arquitectura, una red profunda puede tener pesos de conexión drásticamente diferentes entre sus neuronas. Aunque «se ven» idénticos, procesan los datos de entrada de manera diferente debido a sus conexiones neuronales personalizadas. Piense en ello como hermanos idénticos que no siempre reaccionan de manera similar en las mismas circunstancias.

El sesgo inductivo hace su magia al elegir el «hermano» correcto, de modo que tenga una mayor probabilidad de poder generalizar al final del entrenamiento. El sesgo no es un polvo mágico universal que funciona para todos los problemas: cada problema requiere su propia formulación matemática específica.

El cerebro sesgado

Por un lado, nuestros cerebros reutilizan continuamente la misma red neuronal para diferentes experiencias, lo que se basa fundamentalmente en la capacidad de generalizar y no olvidar los aprendizajes anteriores. Entonces, las habilidades perceptivas y cognitivas de los cerebros biológicos pueden inspirar regímenes de entrenamiento de IA.

Por ejemplo, los humanos tienden a procesar formas mejor que las texturas en una imagen, mientras que algunas redes de aprendizaje profundo funcionan de manera opuesta. Agregar datos que sesgan la inteligencia artificial priorizando las formas, imitando la cognición humana, le permitió funcionar mejor en imágenes llenas de ruido. Esto se debe a que las formas soportan mejor el ruido que las texturas.

Una IA más «natural»

El sesgo inductivo es solo el último ejemplo de cómo la neurociencia está inspirando la IA de la próxima generación. Los autores también mencionaron los beneficios potenciales de copiar la estructura física de los cerebros a los algoritmos, pero argumentaron que la funcionalidad es probablemente más importante.

El cerebro todavía tiene mucho más que ofrecer. Por ejemplo, a diferencia de los cerebros biológicos, la mayoría de las redes profundas no tienen conexiones que unan masivamente las neuronas dentro de la misma capa, o conexiones recurrentes que permiten que las señales de retroalimentación salten varias capas hacia atrás.

«Un análisis cuidadoso de la neurociencia computacional y el aprendizaje automático debería exponer continuamente las diferencias entre la biología y la IA a través de nuevos puntos de referencia, lo que nos permite refinar los modelos con el objetivo de ayudar a construir la próxima generación de IA», concluyeron los autores.

Artículo original Shelly Fan

Dejar un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Accedé al descuento del15%

Suscribiéndote a Nuestro Newsletter, y recibí el cupón para tu inscripción.