Esta IA puede aprovechar el sonido para revelar la estructura de espacios no vistos

Imagina que estás caminando por un conjunto de áreas, acercándote cada vez más a una fuente de sonido, ya sean canciones que se divierten desde un altavoz o una persona que habla. El sonido que escuchas mientras te mueves por este rompecabezas se distorsionará así como variará en función de dónde te encuentres. Teniendo en cuenta un escenario como éste, un grupo de científicos del MIT y de la Universidad Carnegie Mellon han estado trabajando con un modelo que puede representar realmente cómo cambia el ruido que rodea a un público a medida que se mueve por una sala determinada. Han publicado su trabajo sobre este tema en un nuevo informe documento preimpreso la semana pasada.

Los sonidos que escuchamos en todo el mundo pueden diferir en función de elementos como el tipo de habitaciones en las que rebotan las ondas sonoras, el producto con el que chocan o por el que pasan, así como exactamente el tiempo que necesitan para hacer un viaje. Estas características pueden influir exactamente en la forma en que el audio se dispersa y también decae. Sin embargo, los investigadores pueden dar la vuelta al diseñador de este procedimiento también. Pueden tomar un ejemplo de audio, e incluso utilizar eso para deducir cómo es la atmósfera (de alguna manera, es como exactamente cómo las mascotas utilizan ecolocalización para "ver").

" Estamos modelando principalmente la acústica espacial, por lo que la [emphasis is on] ecos", dice Yilun Du, estudiante de posgrado del MIT y también autor del trabajo. "Tal vez si estás en una sala de música, hay muchas reverberaciones, tal vez si estás en un santuario, hay varios ecos frente a si estás en un área pequeña, no hay realmente ningún eco".

Su diseño, llamado campo acústico neural (NAF), es una red semántica que puede componer la posición tanto de la fuente de audio como del oyente, junto con la geometría de la sala por la que el audio ha viajado realmente.

Para entrenar la NAF, los investigadores la alimentaron con información estética relativa a la escena, así como con un par de espectrogramas (representación de patrones visuales que captan la amplitud, la regularidad y la duración de los sonidos) de audio recogidos de lo que el oyente escucharía ciertamente en diferentes puntos de vista y ubicaciones.

" Tenemos un número delgado de factores de información; a partir de esto encajamos algún tipo de modelo que puede fabricar con precisión cómo sonaría el ruido desde cualquier tipo de colocación de la zona, así como cómo sonaría desde un nuevo escenario", afirma Du. "Una vez que encajamos esta versión, se puede imitar todo tipo de paseos virtuales".

El equipo utilizó información de audio obtenida de un espacio básicamente simulado. "Además, tenemos algunos resultados en escenas reales, aunque el problema es que reunir esta información en la vida real lleva mucho tiempo", señala Du.

Utilizando estos datos, el diseño puede averiguar para anticipar exactamente cómo se transformarían los sonidos que escucha el oyente si se moviera a otra posición. Por ejemplo, si la música procede de un altavoz situado en el centro del espacio, este ruido se haría más fuerte si el oyente se acercara a él, y también se volvería mucho más sofocante si el oyente se desplazara a otra zona. El NAF también puede utilizar esta información para predecir el marco del globo alrededor del oyente.

Una gran aplicación de este tipo de versión es en la realidad virtual, de modo que los sonidos puedan generarse adecuadamente para un público que se desplaza por un espacio en la realidad virtual. El otro gran uso que ve es en el sistema experto.

" Tenemos una gran cantidad de versiones para la visión. Pero la asunción no se limita a la visión, el ruido también es muy esencial. También podemos prever que esto es un esfuerzo para hacer la percepción haciendo uso del audio", afirma.

El sonido no es el único medio con el que los investigadores están jugando utilizando la IA. La innovación en el aprendizaje automático hoy en día puede tomar fotos en 2D y también utilizarlas para producir una versión en 3D de las cosas, utilizando varios puntos de vista y también nuevas vistas. Esta técnica viene en útil específicamente en las configuraciones de hechos digitales, donde los diseñadores y artistas tienen que arquitecto realismo a la derecha en las áreas de visualización.

Además, los modelos similares a este centrado en el sonido podrían mejorar los sensores y también las herramientas existentes en condiciones de poca luz o bajo el agua. "El sonido, además, permite ver a través de las esquinas. Hay mucha variabilidad dependiendo de los problemas de iluminación. Las cosas se ven muy diferentes", afirma Du. "Pero el audio salta exactamente igual la mayor parte del tiempo. Es una técnica sensorial diferente".

Por el momento, una de las principales restricciones para el avance adicional de su versión es la falta de información. "Un punto que fue notablemente difícil fue conseguir datos, debido al hecho de que la gente no ha explorado mucho este tema", dice. "Cuando intentas sintetizar vistas novedosas en la realidad online, hay toneladas de conjuntos de datos, todas estas fotos reales. Con más conjuntos de datos, sin duda sería extremadamente fascinante explorar aún más estos enfoques particularmente en escenas genuinas."

Vea (y también escuche) un paseo por un espacio virtual, que aparece a continuación:

¡Haz clic para puntuar esta entrada!
(Votos: 0 Promedio: 0)

Artículos Relacionados

Deja una respuesta

Tu dirección de correo electrónico no será publicada.

Subir

Este sitio web utiliza cookies para garantizar una mejor experiencia de navegación. Más información