YATI 2020: la revolución del mercado de búsquedas globales

Yati revoluciona el mercado global de búsquedas en la web

Yati revoluciona el mercado global de búsquedas en la web

En el YaC de Yandex presentó YATI 2020, la actualización de búsqueda que puede modificar la forma en la que buscaremos información en 2021:

YATI, cuyos protagonistas eran redes neuronales transformadoras.

La compañía considera que este es el evento más importante en las búsquedas en los últimos 10 años, por lo que, nos zambullimos en Yandex, y decidimos contar con más detalle cómo funciona esta tecnología y por qué es necesaria.

¿Quién ganará la pelea?

Que es YATI 2020

Como dicen sobre YATI 2020 en Yandex, es una tecnología avanzada de análisis de texto y el motor de búsqueda de la compañía ya se está ejecutando en ella.

El elemento clave de YATI 2020 es su propia implementación de transformadores, por lo que nos referimos al nombre general de la popular arquitectura de red neuronal que subyace a los enfoques modernos del análisis de texto.

Y la abreviatura YATI 2020 en sí significa “otro transformador con mejoras”.

Cuáles son los transformadores

En palabras muy simples, los transformadores son redes neuronales supergrandes y supercomplejas que pueden hacer frente fácilmente a una variedad de tareas en el campo del procesamiento del lenguaje natural, desde la traducción automática hasta la generación de texto.

Sin embargo, “bajo el capó” de esta “ligereza” hay una potencia de cálculo considerable, muchas veces superior a todo lo que había antes.

Como pudimos recavar en Yandex, la red neuronal que se usó en la búsqueda antes de la actualización se entrenó en un solo acelerador de gráficos Tesla v100 en literalmente una hora.

Pero si comienza al entrenar un transformador de red neuronal en el mismo acelerador, tendrá que esperar hasta 10 años.

La introducción de transformadores requirió que Yandex usara cientos de aceleradores similares con la implementación de transferencia rápida de datos entre ellos; para esto, la compañía construyó un clúster de computación especializado con aprendizaje distribuido.

Es decir, la transición a YATI 2020 también se convirtió en una tarea de ingeniería difícil para la empresa: tuvo que combinar muchos aceleradores en clústeres, vincularlos a una red y desarrollar un potente sistema de refrigeración para los servidores resultantes.

Les tomó un poco de tiempo, un par de cientos de tarjetas GPU, un lugar en uno de los centros de datos de Yandex nutridos por el IQ de ingenieros geniales.

Afortunadamente, juntaron todo en un mismo lugar.

Hemos recopilado varias versiones del clúster y lanzamos con éxito la capacitación sobre él.

Ahora, el modelo se entrena simultáneamente en unos 100 aceleradores, que están ubicados físicamente en diferentes servidores y se comunican entre sí a través de la red.

Incluso con esos recursos, la capacitación lleva alrededor de un mes, señaló Alexander Gotmanov, jefe del grupo de tecnologías de redes neuronales de búsqueda.

Beneficios de YATI 2020 y transforma-dores

Como antes, Yandex Search con tecnología YATI 2020compara la afinidad semántica de una consulta y un documento.

Sin embargo, a diferencia de los modelos de redes neuronales anteriores de Yandex “Palekh” y “Korolev”, YATI 2020 aprende a predecir no el clic de un usuario, sino la evaluación de un experto, y esta es la diferencia fundamental entre ellos.

Sin embargo, YATI 2020 es un orden de magnitud más eficiente que sus predecesores debido a las ventajas de los transformadores, y gracias a ellos;

Buscar:

aprendió a trabajar no solo con textos breves, como solicitudes o títulos de artículos, sino también con textos largos; recibió un “mecanismo de atención” que le permite resaltar los fragmentos más significativos del texto.
Comenzó a prestar atención al orden de las palabras y a tener en cuenta el contexto, es decir, cómo las palabras se afectan entre sí.
Ahora, por ejemplo, Yandex entenderá cuando busque boletos de avión de Moscú a París que necesita para llegar exactamente de Moscú a París, y no al revés.

Además, la herramienta de Búsqueda se ha vuelto más competente para reconocer consultas con errores tipográficos, por lo que el problema se ha vuelto más relevante.

¿Cuál es el resultado final?

A pesar de que YATI 2020 resuelve un problema similar, funciona mucho mejor con el significado de la solicitud, lo que significa que comprende con mucha más precisión qué información será más relevante para la solicitud del usuario.

Es por eso que Yandex considera que la introducción de esta tecnología es el evento más importante en la búsqueda de los últimos diez años.

Esta implementación les ha traído mejoras récord en la clasificación durante los últimos 10 años (desde la introducción de Matrixnet).

Además, se calculan miles de factores en la búsqueda, pero si los desactiva todos y deja solo el nuevo modelo, la calidad de la clasificación según la métrica principal fuera de línea se reducirá solo en un 4-5%. – explicó Alexander Gotmanov.

La tabla compara la calidad de varios algoritmos de redes neuronales en el problema de clasificación.
La tabla compara la calidad de varios algoritmos de redes neuronales en el problema de clasificación.

El ejecutivo agregó que el uso de modelos de redes neuronales pesadas, que se aproximan con mayor precisión a la estructura de un lenguaje natural y tienen mejor en cuenta las relaciones semánticas entre palabras en el texto, ayudará a los usuarios a encontrar el efecto de la “búsqueda de significado” incluso con más frecuencia que antes.

Nos toca muy de cerca, ver y seguir el desarrollo de Google en este sentido y aportar las novedades necesarias a nuestros lectores para comprender como cambia la forma en la que la gente hace negocios en esta post pandemia, cuando muchos de los países de América Latina, ya comienzan a vivir la segunda ola.

 

 

Por Marcelo Lozano – General Publisher IT Connect Latam

 

Lea más en

Anthos: ahora disponible en bare metal

Qualcomm Snapdragon 888 5G “La bestia”

BIDEN: industria TI espera un “Indian Summer” en 2021

Internet Explorer: crónica de una muerte anunciada en 2020

 

IoT y la 5G: Exploramos el futuro conectado

86 / 100