Connect with us

Tecnología

CÓMO HACER QUE LA INTELIGENCIA ARTIFICIAL SEA MÁS DEMOCRÁTICA

Published

on

Este año, GPT-3, un modelo de lenguaje grande capaz de comprender texto, responder preguntas y generar nuevos ejemplos de escritura, ha atraído la atención de los medios internacionales. El modelo, lanzado por OpenAI, una organización sin fines de lucro con sede en California que construye sistemas de inteligencia artificial de propósito general, tiene una capacidad impresionante para imitar la escritura humana, pero igualmente notable es su tamaño masivo. Para construirlo, los investigadores recolectaron 175 mil millones de parámetros (un tipo de unidad computacional) y más de 45 terabytes de texto de Common Crawl, Reddit, Wikipedia y otras fuentes, luego lo entrenaron en un proceso que ocupó cientos de unidades de procesamiento durante miles de horas. .

GPT-3 demuestra una tendencia más amplia en inteligencia artificial. El aprendizaje profundo, que en los últimos años se ha convertido en la técnica dominante para crear nuevas IA, utiliza enormes cantidades de datos y potencia informática para impulsar modelos complejos y precisos. Estos recursos son más accesibles para investigadores de grandes empresas y universidades de élite. Como resultado, sugiere un estudio de Western University, ha habido una “desdemocratización” en la IA: el número de investigadores capaces de contribuir a los desarrollos de vanguardia se está reduciendo. Esto reduce el grupo de personas que pueden definir las direcciones de investigación para esta tecnología fundamental, que tiene implicaciones sociales. Incluso puede estar contribuyendo a algunos de los desafíos éticos que enfrenta el desarrollo de la IA, incluida la invasión de la privacidad, el sesgo y el impacto ambiental de los modelos grandes.

Para combatir estos problemas, los investigadores están tratando de descubrir cómo hacer más con menos. Uno de estos avances recientes se llama “menos de uno”: aprendizaje instantáneo (aprendizaje LO-shot), desarrollado por Ilia Sucholutsky y Matthias Schonlau de la Universidad de Waterloo. [Office1] [RK2] El principio detrás del aprendizaje LO-shot es que Debería ser posible que una IA aprenda sobre los objetos del mundo sin que se le dé un ejemplo de cada uno. Este ha sido un obstáculo importante para los sistemas de IA contemporáneos, que a menudo requieren miles de ejemplos para aprender a distinguir objetos. Los humanos, por otro lado, a menudo pueden abstraerse de los ejemplos existentes para reconocer nuevos elementos nunca antes vistos. Por ejemplo, cuando se le muestran diferentes formas, un niño puede distinguir fácilmente entre los ejemplos y reconocer las relaciones entre lo que se le mostró y las nuevas formas.

El equipo introdujo por primera vez este tipo de aprendizaje a través de un proceso llamado destilación suave. Una base de datos de imágenes mantenida por el Instituto Nacional de Estándares y Tecnología, llamada MNIST, que contiene 60.000 ejemplos de dígitos escritos del 0 al 9, se destiló en cinco imágenes que combinaban las características de los distintos números. Después de mostrar solo esos cinco ejemplos, el sistema de la Universidad de Waterloo pudo clasificar con precisión el 92 por ciento de las imágenes restantes en la base de datos.

En su último artículo, el equipo ha ampliado este principio para demostrar que, en teoría, las técnicas de disparo LO permiten que las IA aprendan potencialmente a distinguir miles de objetos con un pequeño conjunto de datos de incluso dos ejemplos. Esta es una gran mejora en los sistemas tradicionales de aprendizaje profundo, en los que la demanda de datos crece exponencialmente con la necesidad de distinguir más objetos. Actualmente, los pequeños conjuntos de datos de LO-shot deben diseñarse cuidadosamente para destilar las características de las diversas clases de objetos. Pero Sucholutsky busca desarrollar aún más este trabajo al observar las relaciones entre los objetos ya capturados en pequeños conjuntos de datos existentes.

Permitir que las IA aprendan con considerablemente menos datos es importante por varias razones. Primero, encapsula mejor el proceso real de aprendizaje al forzar al sistema a generalizar a clases que no ha visto. Al construir abstracciones que capturan las relaciones entre objetos, esta técnica también reduce el potencial de sesgo. Actualmente, los sistemas de aprendizaje profundo son víctimas de sesgos que surgen de características irrelevantes en los datos que utilizan para entrenar. Un ejemplo bien conocido de este problema es que la IA clasifica a los perros como lobos cuando se les muestran imágenes de perros en un entorno nevado, porque la mayoría de las imágenes de lobos los muestran cerca de la nieve. Ser capaz de concentrarse en los aspectos relevantes de la imagen ayudaría a prevenir estos errores. La reducción de las necesidades de datos hace que estos sistemas sean menos propensos a este tipo de sesgo.

Luego, cuanto menos extensos son los datos que se necesitan usar, menos incentivo existe para vigilar a las personas para construir mejores algoritmos. Por ejemplo, las técnicas de destilación suave ya han impactado la investigación de la IA médica, que entrena sus modelos utilizando información de salud sensible. En un artículo reciente, los investigadores utilizaron la destilación suave en imágenes de rayos X de diagnóstico basadas en un pequeño conjunto de datos que preserva la privacidad.

Por último, permitir que las IA aprendan con datos menos abundantes ayuda a democratizar el campo de la inteligencia artificial. Con IA más pequeñas, el mundo académico puede seguir siendo relevante y evitar el riesgo de que la industria se apropie de los profesores. El aprendizaje LO-shot no solo reduce las barreras de entrada al reducir los costos de capacitación y los requisitos de datos, sino que también brinda más flexibilidad para que los usuarios creen nuevos conjuntos de datos y experimenten con nuevos enfoques. Al reducir el tiempo dedicado a la ingeniería de datos y arquitectura, los investigadores que buscan aprovechar la IA pueden dedicar más tiempo a centrarse en los problemas prácticos que pretenden resolver.

Continue Reading
Advertisement
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *