Redacción 1 julio, 2019
Jia-Bin Huang Premio de la Facultad Google

El Premio de Investigación de la Facultad Google apoya el trabajo en la detección de la interacción de objetos humanos en imágenes y videos

Facultad Google
Facultad Google

Jia-Bin Huang, profesor asistente en el Departamento de Ingeniería Eléctrica e Informática de Bradley y miembro de la facultad en el Centro de Análisis de Descubrimiento, recibió el Premio de Investigación de la Facultad Google para apoyar su trabajo en la detección de interacción de objetos humanos en imágenes y videos.

El premio de la Facultad Google, que se encuentra en la categoría de Percepción de la Máquina, le permitirá a Huang abordar los desafíos de detectar dos aspectos de la interacción hombre-objeto: modelar la relación entre una persona y los objetos / escenas relevantes para recopilar información contextual y extraer ejemplos concretos automáticamente con videos sin etiqueta, pero ricos en interacción.

Según Huang, aunque se ha logrado un progreso significativo en la clasificación, detección y segmentación de objetos, la representación de imágenes / videos como una colección de instancias de objetos aislados no ha logrado capturar la información esencial para comprender la actividad.

«Al mejorar el modelo y ampliar la capacitación, nuestro objetivo es avanzar un paso más hacia la construcción de máquinas socialmente inteligentes», dijo Huang.

Dada una imagen o un video, el objetivo es localizar personas e instancias de objetos, así como reconocer la interacción, si existe, entre cada pareja de una persona y un objeto. Esto proporciona una representación estructurada de un gráfico con conexión a tierra visual sobre los humanos y las instancias de objetos con las que interactúan.

Por ejemplo: dos hombres están uno al lado del otro al margen de una cancha de tenis, uno de pie y sosteniendo una sombrilla y el otro sentado en una silla con una raqueta de tenis y mirando una bolsa en el suelo junto a él.

A medida que avanza el video, los dos se sonríen, intercambian la sombrilla y la raqueta de tenis, se sientan uno al lado del otro y beben de las botellas de agua. Finalmente, se vuelven a mirar, intercambian de nuevo el paraguas y la raqueta de tenis y, por último, se hablan.

«Comprender la actividad humana en imágenes y / o videos es un paso fundamental hacia la construcción de agentes socialmente conscientes, la recuperación de imágenes / videos semánticos, subtítulos y respuestas a preguntas», dijo Huang.

Dijo que la detección de la interacción humano-computadora conduce a una comprensión más profunda de la actividad centrada en el ser humano.

«En lugar de responder ‘¿qué es dónde?’, el objetivo de la detección de la interacción hombre-objeto es responder la pregunta ‘¿Qué está pasando?’.

Los resultados de la interacción hombre-objeto proporcionan una descripción más detallada del estado de la escena y permiten para que podamos predecir mejor el futuro y comprender su intención ”, dijo Huang.

El estudiante Chen Gao trabajará en el proyecto con Huang. Esperan que la investigación avance significativamente la detección de objetos humanos de última generación y permita muchas aplicaciones de alto impacto, como la vigilancia de la salud a largo plazo y los robots socialmente conscientes.

Huang planea compartir los resultados de la investigación a través de publicaciones en conferencias y revistas de primer nivel y también hará que el código fuente, los conjuntos de datos recopilados y los modelos pre-entrenados producidos a partir de este proyecto estén públicamente disponibles.

«Nuestro proyecto se alinea bien con varios de los esfuerzos en curso de Google para construir» inteligencia visual visual «. Esperamos participar con los investigadores e ingenieros de Google para intercambiar y compartir ideas y fomentar futuras relaciones de colaboración», dijo Huang.

 

 

Por Marcelo Lozano – General Publisher IT Connect Latam

 

Facultad Google, Facultad Google, Facultad Google, Facultad Google

A %d blogueros les gusta esto: