La inteligencia artificial está en constante evolución, y una de las áreas más fascinantes es la de los modelos multimodales. Estos modelos, conocidos como LMM, permiten la interacción con sistemas de IA mediante texto e imágenes. Aunque GPT-4 Vision de OpenAI está siendo un referente en este campo, su naturaleza comercial y cerrada ha abierto la puerta a alternativas de código abierto. Entre ellas destaca LLaVA 1.5.
LLaVA 1.5 es un modelo de IA que combina varios componentes generativos para crear un sistema computacionalmente eficiente y preciso. Su rendimiento en diversas tareas lo posiciona como un candidato prometedor en el ámbito de los modelos multimodales de código abierto.
Arquitectura de los modelos multimodales (LMM)
Los LMM emplean modelos preentrenados para codificar características visuales. Estos modelos se alinean con el espacio de incrustación de palabras del modelo de lenguaje.
Un modelo de lenguaje grande y preentrenado, como GPT-4, se utiliza para comprender las instrucciones del usuario y generar respuestas.
Un conector cruzado de modalidad visión-lenguaje se encarga de alinear el codificador visual y el modelo de lenguaje, permitiendo una interacción fluida entre ambos.
Sobre LLaVA 1.5
LLaVA 1.5 utiliza CLIP (Contrastive Language–Image Pre-training) como su codificador visual, un modelo desarrollado por OpenAI que aprende a asociar imágenes y texto. El modelo de lenguaje de LLaVA es Vicuna, una versión del modelo de código abierto LLaMA de Meta, ajustada para seguir instrucciones.
Para usarlo solo tenemos que enviar una imagen a su web y comenzar a interactuar con el campo de texto, preguntando cosas sobre la imagen, por ejemplo, siendo así ideal para obtener descripciones que después podamos llevar a midjourney.
Aunque LLaVA 1.5 muestra un rendimiento impresionante, su uso comercial está limitado debido a los términos de uso de ChatGPT, en los que se basa su entrenamiento. Aún así, es una buena opción para usarlo directamente desde su web, sin necesidad de tener un plan de GPT Plus.
Que quede claro que GPT-4 Vision sigue siendo más fácil de usar e integrar con otras herramientas de OpenAI, lo que plantea desafíos para LLaVA 1.5 en términos de adopción masiva.
Más información en LLaVA 1.5
Fuente info
Autor: Juan Diego Polo
Super Mario 3D World + Bowser's Fury Por solo 46,90 €
46,90 €¡Únete a Mario, Luigi, la princesa Peach y Toad en una aventura para salvar el Reino de las hadas en Super Mario 3D World + Bowser's Fury para Nintendo Switch! Bowser ha secuestrado a la princesa hada… ¡y solo nuestros héroes podrán rescatarla! Esta ... read more
(a partir de diciembre 10, 2023 22:50 GMT +01:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)
Apple 2023 MacBook Pro Portátil con Chip M3 MAX: CPU de 14 núcleos, GPU de 30 núcleos, Pantalla Liquid Retina XDR de 14,2 Pulgadas, 36 GB de Memoria unificada, 1 TB de SSD, Negro Espacial Por solo 4.049,00 €
4.049,00 €SUPERPOTENCIADO CON M3 MAX — El M3 Max, con CPU de hasta 16 núcleos y GPU de hasta 40 núcleos, redefine los límites del rendimiento en los procesos más avanzados, como el renderizado de contenido 3D complejo o el desarrollo de modelos transformadores... read more
(a partir de diciembre 10, 2023 22:53 GMT +01:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)
BLACKSYNCZE Cable USB C [3Pack 0.5M+2M+2M], Cable USB Tipo C 3,1A Carga Rápida y Sincronización Nylon Cargador Tipo C para Samsung Galaxy S23 S22 S21 S20 A53 A72 Note 20 10, Huawei P40 P30, Mi 12 11 Por solo 9,99 € (3,33 € / Count)
9,99 € (3,33 € / Count)[Nuevo Diseño Único] El nuevo extremo USB C tiene luces LED que le ayudan a encontrar rápidamente el dispositivo cuando se carga por la noche. O se puede bajar el lado con la luz hacia abajo y disfrutar de un sueño sin interferencias.El pack de 3 cab... read more
(a partir de diciembre 11, 2023 00:02 GMT +01:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)
Fire TV Stick con mando por voz Alexa (incluye controles del TV), dispositivo de streaming HD Por solo 44,99 €
44,99 €La última versión de nuestro dispositivo de streaming más vendido: con un 50 % más de potencia que el Fire TV Stick del 2019, ofrece una reproducción en streaming rápida y con calidad Full HD. Incluye el mando por voz Alexa con botones de encendido y... read more
(a partir de diciembre 10, 2023 22:53 GMT +01:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)
Assassin's Creed Mirage Launch Edition (PS4) Por solo 49,99 € 47,99 €
Resérvalo ya para obtener la misión adicional Los Cuarenta Ladrones.* Assassin's Creed Mirage Launch Edition incluye: - Assassin's Creed Mirage (juego básico). - Mapa de Bagdad. - Conjunto de tres litografías. Descubre una aventura de acción con una ... read more
(a partir de diciembre 10, 2023 22:53 GMT +01:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)
Maypug Ordenador Portátil 15,6 Pulgadas, 16GB DDR4 512GB SSD Laptop Win 11, Procesador Intel Quad-Core N5095 (Hasta 2.9 GHz) Portátil, 1080P FHD, 2.4/5G WiFi, Bluetooth 4.2, Mini HDMI, USB 3.0, Type-C Por solo 419,99 €
419,99 €【Amplio Almacenamiento】El Laptop viene con 16GB de RAM DDR4 y 512GB de almacenamiento SSD para que los programas se ejecuten de forma rápida y fluida, admite 512GB de expansión de tarjetas TF para que tengas un montón de espacio de almacenamiento par... read more
(a partir de diciembre 10, 2023 22:53 GMT +01:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)
Palmtree 301XL Cartuchos de Tinta Remanufacturado Compatible para HP 301 XL Negro y Color Pack para HP Envy 4500, 5530, 4502, DeskJet 2540, 1000, 1010, OfficeJet 2620, 4630 (1 Negro 1 Color) Por solo 25,40 €
25,40 €301XL Remanufacturado para cartuchos de tinta HP 301 Negro y Color (1 negro 1 color) Compatibles con Impresoras HP 301: HP Envy 4500 4502 4503 4504 4507 4508 5530 5532 5534 DeskJet 1000 1010 1050 1050A 1510 1512 1514 2050 2050A 2054A 2510 2512 2514 2... read more
(a partir de diciembre 11, 2023 00:02 GMT +01:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)
HP 305 3YM60AE, Tricolor, Cartucho de Tinta Original, Compatible con impresoras de inyección de Tinta HP DeskJet 2700, 2730, 4100, 4134; Envy Serie 6020, 6030, 6420, 6430, Normal Por solo 13,99 € 10,99 €
Cartucho Original HP 305 compatible con impresoras de inyección de tinta HP DeskJet 2700, 2730, 4100, 4134; HP ENVY 6020, 6022, 6030, 6032, 6420, 6422, 6430, 6432 Óptimo para imprimir fotografías con calidad de laboratorio y documentos de oficina con... read more
(a partir de diciembre 10, 2023 22:53 GMT +01:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)
SanDisk 2TB Extreme SSD portátil, USB-C, Memoria de estado sólido NVMe externa, hasta 1050 MB/s, Clasificación IP65 de resistencia al agua y al polvo - Monterey Por solo 195,53 € 319,98 €
Consigue el rendimiento de estado sólido NVMe que incluye velocidades de lectura de 1050 MB/s y de escritura de 1000 MB/s en una memoria rápida y de alta capacidad que resulta perfecta para crear contenidos increíbles o capturar imágenes asombrosas C... read more
(a partir de diciembre 10, 2023 22:53 GMT +01:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)
Jesebang Auriculares Inalámbricos Deportivos, Auriculares Bluetooth 5.3 con HD Micrófono, Sonido Premium, 40H de Reproducción, Pantalla LED, Cómodos de Llevar, Cascos Inalambricos con Gancho, Negro Por solo 49,99 € 32,99 €
Experiencia de sonido única: Con un controlador dinámico de 13 mm y un diafragma de polímero ultrasensible, las sutiles vibraciones revelan ricas texturas dentro de un amplio campo sonoro. Las voces se destacan en un marco de audio equilibrado de tre... read more
(a partir de diciembre 10, 2023 22:53 GMT +01:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)
Mario Kart 8 Deluxe Por solo 46,90 €
46,90 €Nuevos personajes: Inkling, Rey Boo, Huesitos y Bowsy Inclusión de circuitos inéditos en el modo batalla Los pilotos cuentan con el volante inteligente, que ayuda a no salirse de la pista Hasta 8 pilotos en partidas de multijugador local
(a partir de diciembre 10, 2023 22:53 GMT +01:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)
Logitech G203 LIGHTSYNC Ratón + Logitech G435 Auriculares Inalámbricos LIGHTSPEED para Gaming, Azul Por solo 135,98 € 92,49 €
SENSOR PARA GAMERS: Seguimiento ultrapreciso gracias al sensor de 8000 DPI. Alterna entre los 5 perfiles de configuración, así como el mapeo de pantalla con el G HUB, para un rendimiento más estable LIGHTSYNC RGB: Gracias a sus 16,8 millones de color... read more
(a partir de diciembre 10, 2023 22:51 GMT +01:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)
HP EliteDesk 800 G2 Desktop Mini USDT Intel Quad Core i5 256 GB SSD disco duro 8 GB de memoria Win 10 Pro MAR Ultra Slim Ordenador de sobremesa Mini PC (reacondicionado) Por solo 104,00 € 95,00 €
Ordenador de alta calidad: ideal para oficina, negocios, empresas, empresas, empresas, autónomos, escuela, escuela, escuela, universitarios, trabajo de oficina en casa, navegar en casa – al mejor precio. Rendimiento – Procesador Intel Core i5 6500 ha... read more
(a partir de diciembre 10, 2023 19:27 GMT +01:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)
Hogwarts Legacy Nintendo Switch (Edición Exclusiva Amazon) Por solo 51,90 €
51,90 €Haz tu reserva y obtén la montura de hipogrifo ónix y la receta de la poción Felix Felicis. Hogwarts Legacy es un RPG inmersivo de acción en mundo abierto. Ahora puedes tomar el control de la acción y ser el centro de tu propia aventura en el mundo m... read more
(a partir de diciembre 11, 2023 00:23 GMT +01:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)
Canon Selphy CP1500 Impresora fotográfica móvil (USB-C, WLAN, inalámbrica, sublimación térmica, 300 x 300 PPP, Ranura para Tarjeta de Memoria de Impresora, aplicación Selphy Photo Layout) Blanca Por solo 149,99 € 89,00 €
Impresora fotográfica compacta con sublimación de tinta Impresión fotográfica en tamaño postal, tarjeta de crédito y miniadhesivos Wi-Fi, USB-C, lector de tarjetas de memoria, pantalla LCD de 8,9.cm Velocidad de impresión blanco-nero: 1.3 pages_per_m... read more
(a partir de diciembre 10, 2023 22:51 GMT +01:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)
Kingston Canvas Select Plus Tarjeta microSD, SDCS2/128GB Class 10 con Adaptador SD, garantía de por vida con el fabricante. Por solo 9,99 € 8,35 €
Velocidades de UHS-I Clase 10 de hasta 100 MB/s Optimizada para uso con dispositivos Android Capacidad de la memoria: 128 GB Tipo de memoria flash: Micro SD Compatibilidad: UHS-I, U1, V10, A1 (32 GB-128 GB); UHS-I, U3, V30, A1 (256 GB-512 GB)
(a partir de diciembre 10, 2023 22:53 GMT +01:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)
Auriculares Inalámbricos Bluetooth, Auriculares Bluetooth 5.3, 4 Mic con Reducción de Ruido ENC, 50H con Graves, Cascos Inalambricos Bluetooth IPX7 Impermeable, Carga Rápida USB-C, Ajuste Cómodo Por solo 49,99 € 22,99 €
Pantalla LED de carga y 50 horas de reproducción: Auriculares bluetooth cuentan con una pantalla LED doble que muestra con precisión el nivel de batería tanto del compartimento de carga como de los auriculares Bluetooth. Además, Auriculares X08-BK ti... read more
(a partir de diciembre 10, 2023 22:53 GMT +01:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)
Marvel's Spiderman 2 para PS5, Videojuego Original de Playstation Sony Interactive, Configurable en Español, Inglés y Portugués Por solo 80,99 € 64,99 €
Marvel's Spider-Man 2 PS5 Videojuego Original de Playstation Sony Interactive Con Idiomas Español, Portugués e Inglés Descripción del juego Los Spider-Men, Peter Parker y Miles Morales, vuelven con una nueva y fantástica aventura de la aclamada franq... read more
(a partir de diciembre 10, 2023 22:50 GMT +01:00 - Más informaciónProduct prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on [relevant Amazon Site(s), as applicable] at the time of purchase will apply to the purchase of this product.)