5 v big data

Aprendizaje automático

No se está realmente en el mundo del big data a menos que el volumen de datos sea de exabytes, petabytes o más. Los gigantes de la tecnología de big data, como Amazon, Shopify y otras plataformas de comercio electrónico, obtienen datos estructurados y no estructurados en tiempo real, que oscilan entre los terabytes y los zettabytes, cada segundo, de millones de clientes, especialmente de usuarios de smartphones de todo el mundo. Procesan los datos casi en tiempo real y, después de ejecutar algoritmos de aprendizaje automático para realizar análisis de datos sobre big data, toman decisiones para ofrecer la mejor experiencia al cliente.

Amazon Redshift, que es un servicio de almacén de datos en la nube gestionado por AWS, es una de las opciones más populares para el almacenamiento. Almacena datos distribuidos en múltiples nodos, que son resistentes a los desastres y más rápidos para los cálculos en comparación con las bases de datos relacionales locales como Postgres y MySql. También es fácil replicar los datos de las bases de datos relacionales a Redshift sin ningún tiempo de inactividad.

Imagine un servicio de aprendizaje automático que aprende constantemente de un flujo de datos, o una plataforma de medios sociales con miles de millones de usuarios que publican y suben fotos 24x7x365. Cada segundo se producen millones de transacciones, lo que significa que cada segundo se transfieren petabytes y zettabytes de datos desde millones de dispositivos a un centro de datos. Este ritmo de entrada de datos de gran volumen por segundo define la velocidad de los datos.

Ciencia de los datos

Las tecnologías de Big Data y análisis permiten a su organización ser más competitiva y crecer sin límites. Pero si una organización está capturando grandes cantidades de datos, necesitará soluciones específicas para su análisis, como un Lago de Datos Inteligente. Pero antes, dediquemos un momento a analizar el valor que aporta el Big Data a una empresa.

El término “Big Data” no es nuevo. Para muchas personas este término se asocia directamente con “muchos datos”. Sin embargo, entender esta tecnología de esta manera no es del todo correcto. La tecnología Big Data implica:

También sería un error pensar que todas las áreas de Big Data son de inteligencia empresarial. El Big Data, no está limitado ni definido por los objetivos que se persiguen con esa iniciativa. Sino por las características de los propios datos.

Hoy en día, podemos basar nuestras decisiones en los datos prescriptivos obtenidos a través del Big Data. Gracias a esta tecnología, cada acción de los clientes, competidores, proveedores, etc, generará información prescriptiva que irá desde datos estructurados y fáciles de gestionar hasta información no estructurada y difícil de utilizar para la toma de decisiones.

El valor de los big data

“El big data es como el sexo entre adolescentes. Todos hablan de ello pero nadie sabe realmente cómo es”. Así concluía Óscar Herencia, director general de la aseguradora MetLife Iberia y profesor de MBA en la Universidad Antonio de Nebrija, su ponencia sobre el impacto del big data en el sector asegurador en la 13ª edición de OmExpo, la popular cumbre de marketing digital y ecommerce que se celebra en Madrid.

Desde la medicina hasta las finanzas, las tecnologías de procesamiento de datos a gran escala ya están empezando a cumplir su promesa de transformar las sociedades contemporáneas. Los cambios sociales de gran alcance no se producen de la noche a la mañana. Poco a poco, se convierten en parte de nuestra vida cotidiana, hasta que su carácter revolucionario se disipa. Hace años, los coches híbridos empezaron a llamar la atención de la gente. Hoy, los coches eléctricos son cada vez menos raros, al menos en las grandes ciudades.

Parafraseando las cinco famosas W del periodismo, la presentación de Herencia se basó en lo que él llamó las “cinco V del big data”, y su impacto en el negocio. Son volumen, velocidad, variedad, veracidad y valor.

7 aspectos de los grandes datos

Resulta que los científicos de datos casi siempre describen los “big data” como algo que tiene al menos tres dimensiones distintas: volumen, velocidad y variedad. Algunos añaden más Vs a la lista, para incluir también -en mi caso- la variabilidad y el valor. Así es como defino las “cinco V de los grandes datos”, y lo que les dije a Mark y Margaret sobre su impacto en la atención al paciente.

Los big data tienen que ser ante todo “grandes”, y el tamaño en este caso se mide como volumen. Desde los datos clínicos asociados a las pruebas de laboratorio y las visitas al médico, hasta los datos administrativos relacionados con los pagos y los pagadores, este pozo de información ya se está expandiendo. Cuando esos datos se unan a un mayor uso de la medicina de precisión, se producirá una explosión de big data en la atención sanitaria, especialmente a medida que los datos genómicos y ambientales se vuelvan más ubicuos.

En el contexto de los macrodatos, la velocidad se refiere a dos conceptos relacionados que resultan familiares para cualquier persona que trabaje en el ámbito de la sanidad: la rapidez con la que se crean nuevos datos gracias a los avances tecnológicos y la correspondiente necesidad de digerir y analizar esos datos casi en tiempo real. Por ejemplo, a medida que se diseñan más y más dispositivos médicos para monitorizar a los pacientes y recopilar datos, hay una gran demanda de poder analizar esos datos y transmitirlos a los médicos y a otras personas. Este “Internet de las cosas” de la sanidad no hará sino aumentar la velocidad de los big data en la sanidad.