Fusionando música y metaverso: Un viaje por la innovación en Realidad Virtual

La realidad virtual (RV) ha tomado un nuevo giro en la exploración de la música y la interacción en el metaverso. A través de la fusión de tecnologías y conceptos innovadores, se ha creado un puente entre la música, la animación y la experiencia del usuario. A continuación, se detallan los aspectos clave de este emocionante avance.

En el estudio Avatar Fusion Karaoke: Research and development on multi-user music play VR experience in the metaverse, disponible en este PDF, se habla sobre la investigación y desarrollo de una experiencia de realidad virtual en el metaverso, centrada en la música y el juego multiusuario. Se explora la fusión de tecnologías de inteligencia artificial, captura de movimiento y animación para crear una experiencia de karaoke de avatar inmersiva y colaborativa. El documento detalla los desafíos técnicos, las soluciones implementadas y las posibles aplicaciones futuras de esta innovadora combinación de música y tecnología virtual.

La creación de una experiencia cercana a la vida escolar adolescente en el metaverso plantea desafíos en términos de rendimiento y número de avatares. La meta es lograr una experiencia cruzada en diferentes plataformas como Meta Quest 1 y Meta Quest 2. Los avatares en la aplicación objetivo tienen un conteo poligonal promedio de aproximadamente 30,000 y un conteo de material de 6 a 14, lo que es más pesado que en aplicaciones móviles generales.

En un espacio de metaverso, los materiales, sombreadores y la iluminación de la habitación deben configurarse para que la apariencia del avatar no cambie significativamente. La optimización para el entorno del dispositivo del usuario es crucial, y se deben considerar aspectos como la atlantización de los materiales y texturas del avatar y la compatibilidad con la física aplicada al cabello y la ropa.

Juego de Música Asistido por IA

Concepto de Fusión de IA

Para realizar el karaoke con avatar, se creó un sistema automático de reproductor de música de avatar utilizando archivos SMF (partituras musicales, MIDI estándar, .mid) y Fusión de IA. La tecnología para generar expresiones faciales a partir del audio, especialmente la forma de la boca, ha estado disponible en la industria del cine y la animación utilizando LipSync.

Implementación de Fusión de IA en Unity

La implementación de la Fusión de IA en Unity utiliza una combinación de animaciones generadas por MIDI y captura de movimiento. Se crean animaciones para representar movimientos asociados con cada nota que se toca, y se utilizan archivos MIDI como base para vincular esas animaciones con la música que se reproduce en tiempo real.

Herramientas y Pruebas de Concepto

QueTra: Sistema Simple de Captura de Movimiento usando Quest

QueTra es un sistema de captura de movimiento que utiliza Meta Quest para crear animaciones de avatar compatibles con el formato humanoide de Unity. Tiene aplicaciones diversas y potenciales en una variedad de usos, incluyendo la educación y la producción interna.

GVBand: Prototipo de una Experiencia Musical VR Multiusuario en el Metaverso

GVBand es una aplicación que permite a los usuarios entrar en un metaverso y practicar para una actuación como miembro de un club de música de secundaria. La interacción y la expresión son clave en esta experiencia, y hasta cuatro usuarios pueden jugar simultáneamente.

Y todo esto… ¿para qué?

La fusión de música y metaverso no es solo un avance tecnológico, sino un paso hacia una nueva forma de interacción y expresión humana. La capacidad de crear experiencias musicales en un entorno virtual abre puertas a nuevas formas de comunicación, aprendizaje y entretenimiento. La combinación de música, animación y realidad virtual puede tener aplicaciones en áreas tan diversas como la educación, el entretenimiento y la colaboración empresarial. La exploración de estos conceptos no solo mejora nuestra comprensión de la tecnología, sino que también enriquece nuestra conexión con el mundo digital y entre nosotros.

Fuente info
Autor: Jahel Cuaresma

Sony WH-CH520 Auriculares Inalámbricos Bluetooth, hasta 50 Horas de Autonomía con Carga Rápida y Estilo Diadema, Negro Por solo 69,99 € 45,00 €

(3538)

69,99 € 45,00 €

Digital Sound Enhancement Engine (DSEE) restaura tu música con sonidos de alta frecuencia y una atenuación gradual para un resultado auténtico Con hasta 50 horas de autonomía, puedes escuchar tu música sin preocuparte; y, si la carga de los auricular... read more

(a partir de septiembre 23, 2023 21:50 GMT +02:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)

【Auto Focus/Keystone】 Proyector WiFi Bluetooth 16000 Lúmenes Full HD 1080P, WiMiUS Proyector 4K Soporte Función Zoom Proyector con WiFi 6 Cine en Casa/Exterior para Teléfono/TV Stick/PS5 HDMI AV USB Por solo 298,08 €

(394)

298,08 €

【Tecnología Innovadora De Enfoque Automático y Corrección Trapezoidal Automática】Este proyector wifi bluetooth full hd 1080P cuenta con la última tecnología de corrección trapezoidal/enfoque automático del mercado. Incluso si necesita mover la posici... read more

(a partir de septiembre 23, 2023 21:49 GMT +02:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)

SPARIN Protector de Pantalla para iPhone 15 Pro y iPhone 15, Cristal Templado de 6,1 Pulgadas Cobertura Completo 9H Dureza, HD Transparente, 3 Pack Por solo 8,95 €

8,95 €

Especialmente diseñado y cortado con precisión para iPhone 15 y iPhone 15 Pro 5G, protege completamente su teléfono, no es compatible con otros modelos de moviles Fácil instalación: con el cola de escape, puedes instalar rápidamente el cristal templa... read more

(a partir de septiembre 23, 2023 21:49 GMT +02:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)

UnionSine Ultra Slim Disco Duro Externo Portátil 2.5" 500GB, USB3.0 SATA HDD Almacenamiento para PC, Mac, MacBook, Chromebook, Xbox, PS4 (Color Negro) HD2510 Por solo 41,99 € 30,19 €

(24126)

41,99 € 30,19 €

【Sistemas y dispositivos compatibles】 -Windows / Mac / Linux / Android/TV/PC/Laptop/Ps4/Xbox 【Versión actualizada】 - Usando una combinación de tiras de logotipo espejado y diseño antideslizante, las esquinas redondeadas del contenedor son las más ade... read more

(a partir de septiembre 23, 2023 21:42 GMT +02:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)

2023 UPGRADE Mando para Switch, Mandos Switch Inalambricos para Switch/Switch Lite/Switch OLED con Wake Up, Mando Pro Controller Mando pc con Gyro Axis/Dual Shock/ Función Turbo y Captura de pantalla Por solo 39,00 € 25,01 €

(13806)

39,00 € 25,01 €

🎮【COMPATILIDAD PERFECTA】un nuevo mando para Switch inalámbrico que es compatible con Switch Pro/Pc, al mismo tiempo mantiene los juegos de switch. Bríndele una mejor experiencia de juego. NOTA: SOLO APOYE LA CONEXIÓN DE CABLE USB CON PC. SOLO APOYE L... read more

(a partir de septiembre 23, 2023 21:49 GMT +02:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)

Apple EarPods con Conector Lightning Por solo 19,00 € 13,99 €

(9392)

19,00 € 13,99 €

Diseñados por Apple Bajos más profundos y con más matices Mayor protección contra el agua y el sudor Controla la reproducción de música y vídeo Responde y cuelga llamadas

(a partir de septiembre 23, 2023 22:30 GMT +02:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)

Auriculares Inalambricos Bluetooth, Half-In-Ear Auriculares Bluetooth 5.3, 48 Horas Estéreo HiFi con Reducción de Ruido, IP7 Impermeable Cascos Inalambricos Comodidad Ligera, Carga Rápida USB-C Blanco Por solo 49,99 € 19,94 €

(611)

49,99 € 19,94 €

2023 Nuevo Bluetooth: Con Bluetooth 5.3 y transmisión de dos canales, los auriculares inalambricos Bluetooth le brindan una experiencia de audio incomparable con una velocidad de transmisión más rápida, una mayor estabilidad de conexión y un mayor al... read more

(a partir de septiembre 23, 2023 21:49 GMT +02:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)

Princess Peach Showtime Por solo 59,90 €

59,90 €

Carátula no oficial Fecha lanzamiento sujeta a cambios Princess Peach Showtime

(a partir de septiembre 23, 2023 22:28 GMT +02:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)

HP 304 3JB05AE, Negro y Tricolor, Pack de 2, Cartuchos de Tinta Originales, Compatible con impresoras de inyección de tinta HP DeskJet 2620, 2630, 3720, 3730, 3750, 3760; HP Envy 5010, 5020, 5030 Por solo 28,99 € (14,50 € / unidad) 23,70 € (11,85 € / unidad)

(181398)

28,99 € (14,50 € / unidad) 23,70 € (11,85 € / unidad)

Promoción: Consigue 10€ con el servicio de HP Instant Ink; despreocúpate de la tinta para siempre; recibe la tinta en casa antes de que se agote y ahorra tiempo y dinero; todo desde solo 0,99 € al mes; disfruta de un servicio cómodo, flexible y sin c... read more

(a partir de septiembre 23, 2023 21:42 GMT +02:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)

KUU Ordenador Portátil 14.1'' X3, Portátil Windows 11 Pro 8GB RAM DDR4 256GB SSD, Convertible 180° Portatil Celeron J4125 CPU, Laptop con UHD Graphics, IPS FHD Pantalla, Bluetooth5.0, USB3.0, HDMI Por solo 299,99 € 239,99 €

(7)

299,99 € 239,99 €

🌈【Portátil de 14,1'' & Giro de 180°】El portátil Windows 11 con pantalla completa IPS de 14,1'' y 1920x1080 que tiene un ángulo de visión amplio de 178° y un borde más estrecho, lo que hace que la imagen sea más inmersiva. Reduce eficazmente la luz az... read more

(a partir de septiembre 23, 2023 21:47 GMT +02:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)

Antena WiFi USB, AC600Mbit/s Adaptador Red WiFi Dual Band 433Mbps 5GHz/150Mbps, Receptor WiFi para PC Sobremesa Laptop, Adaptador WiFi Dongle Soporta Windows 11/10/8/8.1/7/XP Por solo 7,99 €

(45)

7,99 €

【Conexión de red rápida y estable】Este antena wifi usb admite una velocidad de red de hasta 433 Mbit/s en la banda de 5 GHz y una velocidad de red de hasta 150 Mbit/s en la banda de 2.4 GHz, asegurando una conexión de red rápida y estable. 【Controlad... read more

(a partir de septiembre 23, 2023 22:28 GMT +02:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)

VolttierPC - Pack Pc Gaming Completo AMD Ryzen 5 4600G 6x4.2Ghz | Radeon Vega 7 | 16GB DDR4 | 512GB M.2 SSD | WiFi | Windows 11 | Monitor 24" | Teclado y Ratón RGB | Ordenador de Sobremesa Por solo 679,00 €

(19)

679,00 €

Diseñado para ofrecer la mejor experiencia de juego, su procesador AMD Ryzen 5 4600G en modo turbo a 4.2ghz, sus 16gb de RAM 3200Mhz y su potente tarjeta gráfica Radeon Vega 7, te ofrecerán una potencia informática paralela adecuada para que puedas n... read more

(a partir de septiembre 23, 2023 21:50 GMT +02:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)

SanDisk Extreme 64 GB MicroSDXC UHS-I Class 10 Por solo 10,19 € 9,90 €

(26431)

10,19 € 9,90 €

SanDisk Extreme 64 GB MicroSDXC UHS-I Class 10 0 0 0

(a partir de septiembre 23, 2023 21:49 GMT +02:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)

LG 32GN600-B - Monitor Gaming UltraGear 32 pulgadas, Panel VA: 2560x1440p, 16:9, 350 cd/m², 3000:1, 5ms (1ms MBR), 165 Hz, entradas: DP x1, HDMI x2, FreeSync Premium, Color Negro Por solo 279,00 € 239,00 €

(2762)

279,00 € 239,00 €

1ms de velocidad de respuesta gracias a la tecnología Motion Blur Reduction Juega más fluido con frecuencia de actualización de 165Hz RADEON FreeSync Premium para disfrutar de toda la acción sin parpadeos, incluso a bajas tasas de refresco gracias al... read more

(a partir de septiembre 23, 2023 21:49 GMT +02:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)

SanDisk Tarjeta microSDXC Extreme de 256 GB + adaptador SD + RescuePRO Deluxe, hasta 190 MB/s, con rendimiento de aplicación A2, UHS-I, Clase 10, U3, V30 Por solo 29,99 €

(26431)

29,99 €

Ahorra tiempo con velocidades de descarga en tarjeta de hasta 190 MB/s gracias a la tecnología QuickFlow de SanDisk Puedes emparejarla con las tarjetas SanDisk Professional PRO-READER SD y microSD para alcanzar máximas velocidades (se venden por sepa... read more

(a partir de septiembre 23, 2023 21:42 GMT +02:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)

100€ PlayStation Store Tarjeta Regalo | PSN Cuenta española [Código por correo] Por solo 100,00 €

(6431)

100,00 €

Todo lo que quieras jugar: Elige entre la mayor biblioteca de contenido para PlayStation Canjéala por todo lo que quieras en PlayStation Store: juegos, complementos, suscripciones y mucho más Reserva, Pre-descarga, Juega: ¿No puedes esperar un juego?... read more

(a partir de septiembre 23, 2023 21:49 GMT +02:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)

Acer Nitro 5 AN515-47 - Ordenador Portátil Gaming 15.6" Full HD IPS 144Hz (AMD Ryzen 5-7535HS, 16GB RAM, 512GB SSD, NVIDIA RTX 3050Ti, Sin Sistema Operativo) Color Negro - Teclado QWERTY Español Por solo 1.049,00 € 699,00 €

(2)

1.049,00 € 699,00 €

Pantalla de 15,6", FullHD LED 1920 x 1080 pixeles, 144Hz Procesador AMD Ryzen 5 7535HS (HexaCore), 3,30 GHz Memoria RAM de 16GB DDR5 Almacenamiento de 512GB SSD PCIe NVMe Tarjeta Gráfica NVIDIA GeForce RTX 3050Ti Sin sistema operativo

(a partir de septiembre 23, 2023 21:50 GMT +02:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)

Cable Cargador iPhone 90 Grados 2M 3Pack, [Apple MFi Certificado] USB Cable iPhone Carga Rápida Cable Lightning Nylon Trenzado Compatible con iPhone 14 13 12 11 Pro XS MAX XR X 8 7 6S 6 Plus 5 5S,iPad Por solo 10,99 €

(133)

10,99 €

【Diseño Avanzado de ángulo Rrecto Cable iPhone 】En comparación con los cables de carga convencionales, este cable carga iPhone de 90 grados cuenta con un diseño ergonómico en forma de "L" recta de 90°. Es más cómodo y conveniente para jugar juegos, v... read more

(a partir de septiembre 23, 2023 21:50 GMT +02:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)