DeBERTa NLU 2021 de Microsoft supera a los humanos

 

El sistema de Microsoft DeBERTa NLU supera los puntajes de las pruebas humanas en comprensión del lenguaje natural

DeBERTa NLU de Microsoft supera los puntajes de las pruebas humanas en comprensión del lenguaje natural

Microsoft dijo que su algoritmo DeBERTa Natural Language Understanding (NLU) ha superado las capacidades humanas en una de las pruebas más desafiantes de su tipo, SuperGLUE.

¿Qué entendemos por Natural Language Understanding?

Gartner define la comprensión del lenguaje natural ( NLU ) como “la comprensión por parte de las computadoras de la estructura y el  significado del  lenguaje humano (por ejemplo, inglés, español, japonés), lo que permite a los usuarios interactuar con la computadora usando oraciones naturales ”.
Por el momento, se informa que el modelo ocupa el primer lugar en la clasificación con una puntuación de 90,3, mientras que la puntuación media de desempeño humano es de 89,8 puntos.

IT CONNECT

Información de valor, para ejecutivos que toman decisiones de negocios

La prueba SuperGLUE incluye una serie de tareas diseñadas para evaluar la capacidad de los modelos de IA para reconocer y comprender el lenguaje natural, por ejemplo, dar la respuesta correcta a una pregunta basada en el párrafo leído, determinar si una palabra polisemántica se usa correctamente en un contexto particular, etc.

La prueba fue desarrollada por un equipo de investigadores en 2019.

Cuando se introdujo SuperGLUE, la brecha entre el modelo con mejor desempeño y la persona en la tabla de clasificación era de casi 20 puntos.

DeBERTa

Para lograr el resultado actual de 90,3 puntos, DeBERTa recibió una actualización de arquitectura a gran escala: ahora consta de 48 capas y tiene 1.500 millones de parámetros.

Microsoft dijo que hará públicos el modelo y su código fuente.

Además, DeBERTa se integrará en la próxima versión del Modelo de Microsoft Turing (Turing NLRv4) y se utilizará en productos como Bing, Office, Dynamics y Azure Cognitive Services. Esto mejorará la forma en que interactúa con los chatbots, brindará recomendaciones y responderá preguntas, buscará, automatizará la atención al cliente, creará contenido y resolverá muchos otros problemas en beneficio de cientos de millones de usuarios.

También se observa que, a diferencia de otros modelos, DeBERTa tiene en cuenta no solo los significados de las palabras, sino también sus posiciones y roles. Por ejemplo, en la oración “se abrió una nueva tienda al lado del nuevo centro comercial” (en inglés, “una nueva tienda abrió al lado de un centro comercial”), puede entender que similar en el contexto significa “tienda” y “centro comercial” (“Centro comercial”) desempeñan diferentes roles sintácticos (el tema aquí es precisamente “tienda”).

Además, es capaz de determinar la dependencia de las palabras entre sí.

Por ejemplo, DeBERTa entiende que la relación entre las palabras “profundo” y “aprendizaje” es mucho más fuerte cuando están juntas (el término “aprendizaje profundo”) que cuando aparecen en diferentes oraciones.

A pesar de que DeBERTa superó el rendimiento humano en la prueba SuperGLUE, esto no significa que el modelo de IA haya alcanzado el nivel de un humano en la comprensión del lenguaje natural.

A diferencia de las máquinas, las personas son buenas para usar el conocimiento obtenido previamente al realizar diversas tareas para resolver otras nuevas; esto se denomina generalización compositiva.

Por lo tanto, a pesar de los prometedores resultados de DeBERTa en la prueba, la empresa continuará investigando para desarrollar esta habilidad en el modelo.

Microsoft

Está trabajando activamente para mejorar las tecnologías de inteligencia artificial.

Entonces, en octubre de 2020, se presentó un algoritmo de inteligencia artificial progresiva para generar automáticamente subtítulos para imágenes, que en muchos casos resultan ser más precisos que los escritos por humanos.

Esto hará que los productos y servicios de Microsoft sean aún más inclusivos y accesibles para más usuarios.

En primer lugar, la descripción automática ayuda a las personas con discapacidad visual a la hora de trabajar con documentos o páginas web, y también, en general, permite acceder al contenido de cualquier imagen, por ejemplo, al buscar o preparar presentaciones.

 

Por Marcelo Lozano – General Publisher IT Connect Latam

92 / 100