El término «lago de datos» -un repositorio centralizado que contiene una gran cantidad de datos en bruto en su formato nativo- sólo existe desde hace una década. A pesar de ser un término relativamente nuevo, se espera que los lagos de datos alcancen un volumen de mercado anual de 20.100 millones de dólares en 2025, según Research and Markets.
Por lo general, un lago de datos alberga datos de muchas fuentes en múltiples formatos, todos los cuales requieren un análisis para obtener información empresarial. Cada vez se oye hablar más de «lago de datos» y «big data» al mismo tiempo. Y tiene sentido, porque la analítica de big data requiere una gran cantidad de datos para obtener información.
Dado que los lagos de datos agregan datos de varias fuentes, pueden alcanzar rápidamente la escala de petabytes y más. Este volumen de datos supera la capacidad de las tecnologías de bases de datos tradicionales, como los sistemas de gestión de bases de datos relacionales (RDBMS), que fueron diseñados principalmente para manejar datos estructurados.
No sólo existe un problema potencial de capacidad, sino que los lagos de datos acumulan datos estructurados, semiestructurados y no estructurados. Para gestionar de forma flexible y escalable estos diferentes tipos de datos, se han utilizado nuevos sistemas de almacenamiento como el sistema de archivos distribuidos Hadoop (HDFS) como solución de almacenamiento para los lagos de datos. Pero, como cualquier tecnología, HDFS tiene sus limitaciones.
Una de las principales desventajas de HDFS es que sus recursos informáticos y de almacenamiento están estrechamente acoplados a medida que se amplía (porque el sistema de archivos se aloja en las mismas máquinas que la aplicación). La capacidad de computación y la memoria crecen juntas, lo que puede acabar teniendo un alto coste económico.
Para aprovechar al máximo los conocimientos empresariales que se encuentran en estos lagos de datos masivos, las organizaciones dependen tanto de las herramientas de análisis como del repositorio de almacenamiento en el que se guardan los datos; este último es posiblemente el más importante.
¿Por qué? Porque el repositorio debe procesar los datos de varias fuentes con el rendimiento adecuado, además de poder crecer tanto en rendimiento como en capacidad para que los datos estén ampliamente disponibles para las aplicaciones, las herramientas y los usuarios.
En la búsqueda de una mayor escalabilidad, flexibilidad y menor coste, el almacenamiento de objetos está emergiendo rápidamente como el estándar de almacenamiento para los lagos de datos.
Con el almacenamiento de objetos, no hay límite en el volumen de datos. Otra ventaja clave es que da cabida a todo tipo de datos sin necesidad de «esquemas» predefinidos (como ocurre con los RDBMS, en los que hay que predefinir la estructura y las relaciones entre tablas para realizar consultas complejas); esta capacidad aumenta la flexibilidad.
Además, los sistemas modernos de almacenamiento de objetos, como el nuestro, admiten el escalado independiente de la capacidad y el rendimiento, una ventaja importante para los grandes proyectos de análisis. La posibilidad de escalar de forma independiente ofrece el rendimiento informático adecuado para el análisis de datos -bajo demanda- y disminuye sustancialmente el coste total de una solución de lago de datos.
El almacenamiento de objetos también ha sido adoptado por los proveedores de aplicaciones en su intento de resolver los retos de aumentar la capacidad de datos para los clientes. Soluciones como Splunk admiten ahora el almacenamiento de objetos a través de la interfaz SmartStore (que aprovecha la API de Amazon S3), y Microfocus Vertica ofrece el modo EOM (que también aprovecha S3).
Estas soluciones desvinculan el nivel de computación (búsqueda) del nivel de capacidad persistente, lo que proporciona a los usuarios más flexibilidad y eficiencia de costes, a la vez que permite volúmenes de datos mucho mayores para que la analítica sea más eficaz. Además, el ecosistema de herramientas Apache Spark, que tradicionalmente utilizaba HDFS para el almacenamiento, también es compatible con el almacenamiento de objetos S3 a través de la interfaz del sistema de archivos compatible con Hadoop S3A, que aprovecha la API de S3
Firmado: Israel Serrano, responsable de Scality para España y Portugal
Fuente info
Autor: RedaccionMCP
Logitech MX Keys Advanced Teclado Inalámbrico, Bluetooth, Clara Respuesta Táctil, Retroiluminación, USB-C, PC/Mac/Portátil, Windows/Linux/IOS/Android, Disposición QWERTY Español - Negro Por solo 135,00 € 104,13 €
Crucial P3 1TB M.2 PCIe Gen3 NVMe SSD interno - Hasta 3500MB/s - CT1000P3SSD801 (Edición Acronis) Por solo 62,99 €
62,99 €
Mars Gaming MC-Core Negro, Caja Gaming Compacta MicroATX, Diseño Frontal Metal-Mesh, Ventana Lateral Completa, 2X Ventiladores FRGB 120mm Por solo 28,90 € 26,79 €
UGREEN Hub USB 3.0 con 4 Puertos Ladron Multi USB 3.0 5Gbps Alta Velocidad Adaptador USB Compatible con MacBook Pro Air iMac Surface Pro XPS PC Portátil Llave USB Disco Duro Teclado Ratón PS5 (15cm) Por solo 11,99 €
11,99 €
Tableta Gráfica UGEE S640,Tableta Digitalizada Portátil Ultradelgada, con Función de Inclinación, Teclas Personalizadas, Lápiz sin Pilas para Windows Mac Linux Por solo 36,00 €
36,00 €
AiTodos® Soporte para Computadora Portatil, Aleación de Aluminio, Antideslizante, Soporte Portátil Plegable, Ventilación y Disipación de Calor, Ajuste de 6 Engranajes. Por solo 10,99 € 8,39 €
JBL TUNE 510BT – Auriculares inalámbricos on-ear con tecnología Bluetooth, ligeros, cómodos y plegables, hasta 40h de batería, Siri y Asistente de Google, con conexión multipunto, negro Por solo 49,99 € 43,53 €
Smartphone Xiaomi Redmi 12C 4GB/ 128GB/ 6.71"/ Gris Grafito Por solo 158,52 € 115,90 €
Logitech G203 LIGHTSYNC Ratón USB Gaming con Iluminación RGB Personalizable, 6 Botones Programables, Captor 8K para Gaming, Seguimiento de hasta 8,000 DPI, Ultra-ligero - Negro Por solo 47,99 € 27,39 €
JUMPER Ordenador Portátil 14 Pulgadas IPS Full HD, 12 GB DDR4 256 GB SSD PC Portátil, Intel Quad Core Procesador Laptop, Bluetooth4.0, 1920 x 1080, 2.4G/5G WiFi, Tipo-C, USB 3.0 x 2, 2023 Por solo 599,99 € 289,99 €
TOSHIBA Canvio Partner 1TB External HDD Por solo 52,99 €
52,99 €
Cable para Carga Rapida 2m - Cable iPhone USB C MFi Certificado Cable Tipo C - Cargador iPhone Compatible con iPhone 14 plus 13 Pro Max 12 mini 11 XR XS Max 8 Plus iPad Pro Por solo 9,99 € 5,09 €
ULTIMEA Dolby Atmos Barra De Sonido Para TV, BassMAX, Sistema de Sonido Envolvente 3D Para Altavoces De TV, 2.1 Barra Sonido con Subwoofer, Ultradelgadas, Serie Nova S50, Modelo 2023 Por solo 139,99 €
139,99 €
AceGamer Controlador Inalámbrico Para Ps4, Controlador De Juego Compatible Con Ps4/Pro/Slim/Pc, Con Turbobotón/Botón Trasero/Doble Vibración/Sensor De Giroscopio De 6 Ejes/Panel Táctil Por solo 27,99 € 26,99 €
Garmin fēnix 7S - Reloj GPS multideporte con pantalla táctil y funciones superiores, frecuencia cardíaca, mapas y música, Blanco Plata Por solo 1.012,69 €
1.012,69 €
604XL Cartucho de Tinta Compatible Epson 604XL 604 XL Tinta para Epson Expression Home XP-2200 XP-2205 XP-3200 XP-3205 XP-4200 XP-4205, Workforce WF-2910 WF-2930 WF-2935 WF-2950 (4 Paquetes) Por solo 18,89 € 16,06 €
Greenjob 603XL Cartucho de Tinta Compatible con Epson 603XL 603 XL para XP-2100 XP-2105 XP-2150 XP-3100 XP-3150 XP-4100 WF-2810 WF-2820 WF-2830 WF-2835 WF-2850 (4 Negro, 2 Amarillo, 2 Magenta, 2 Cian) Por solo 26,99 €
26,99 €