Data Mesh: Data Products
Como hemos conversado en otros artículos una arquitectura Data Mesh se basa en 4 principios para conseguir escalar las estrategias de datos de las organizaciones, en este artículo explicaremos qué es Data Products y cómo pueden ayudar a tu organización.
En términos simples un producto de datos se refiere a datos que tengan como propósito resolver un problema de negocio y que estén disponibles para la organización, mientras que son gestionados por un Product Owner.
De acuerdo a los lineamientos de un Data Mesh, cada dominio de negocio es responsable de generar sus propios productos de datos e intercambiarlos con otros dominios para generar valor comercial.
Los productos de datos son el centro del Data Mesh en consecuencia a que en éstos se combina el conocimiento comercial y el tratamiento de datos para responder preguntas de negocio.
La principal diferencia entre un productos de datos, una tabla, entidad o cubo… es que los productos de datos son generados desde una perspectiva comercial.
Esto quiere decir que un producto de datos, debe tener beneficios claros para el negocio, junto con la definición de algunos casos de usos que apoyen su desarrollo e implementación.
Si bien un producto de datos debe cumplir los criterios de negocios recién explicados, también debe cumplir criterios técnicos que aumenten su mantenibilidad y eficiencia.
Por ejemplo, se debe contar con métodos de procesamiento de datos costo-eficientes, captura de metadatos, reutilización de código cuando sea posible y la generación de infraestructura bajo demanda.
Todo esto, tiene como objetivo asegurar que el producto pueda ser fácilmente modificable, replicable y lo más importante UTILIZABLE.
Los desafíos de crear productos de datos centralizados
Normalmente las organizaciones comienzan sus equipos de datos, centralizando la gestión y operación en áreas de IT.
Esto puede cumplir las necesidades requeridas en la generación de productos de datos en el corto plazo, no obstante, no se conseguirá escalar de forma orgánica a una cultura Data Driven o Data Centric.
Con el tiempo el negocio se dará cuenta del valor comercial que puede generar con el uso de los datos y comenzará a incrementar los requerimientos al equipo de IT.
El equipo IT en algunas ocasiones incrementará la dotación de ingenieros, pero llegará un punto en el que aunque adquiera más personal especialista no conseguirá cumplir con las necesidades del negocio.
El problema vendrá cuando el negocio tenga bloqueos constantemente y comience a armar áreas de Datos internas a sus equipos para poder impulsar sus respectivas iniciativas. Generando Caos.
Esto no es decir que IT es bueno o malo, sino más bien que tener un equipo centralizado no escala a las necesidades del negocio.
Ahora por otro lado, podríamos dejar que los negocios fueran libres y felices.
Pero esto traería más caos, e ingobernabilidad…
Entonces, ¿Qué debemos hacer?
Debemos hacer que los equipos de IT generen herramientas que permitan al negocio generar productos de datos sin las complejidades que requiere el procesamiento de datos con calidad productiva.
Productos de datos en un Data Mesh
En un Data Mesh los productos de datos deben ser creados al interior de los dominios de negocios.
Esto es un cambio radical, dado que ahora deben ser tratados como un producto como cualquier otro, quiero decir que los datos toman un rol protagónico y deben ser un entregable al igual como cuando se entrega una aplicación que resuelve un problema específico.
Cuando lo escuchas por primera vez puedes pensar, pero los datos sin un software que los gestione no proporcionan un valor comercial al negocio.
Déjame decirte que esto ha cambiado drásticamente en el último tiempo, debido a las distintas formas en que puedes monetizar tus datos… pero esto lo veremos en otro artículo.
Por ahora, si generamos productos de datos obtendremos los siguientes beneficios:
- Vamos a generar casos de usos 90% más rápidos
- Vamos a reducir en 30% el TCO de nuestros proyectos (por la automatización del uso de tecnologías, estandarización de desarrollo y el mantenimiento del mismo).
- Vamos a reducir el riesgo de sobrecarga del equipo de gobierno de datos
Al ver estos beneficios cualquier responsable de datos quisiera comenzar a construir productos de datos, pero la verdad es que se requiere cumplir un conjunto de requisitos para conseguirlos.
Y no terminar teniendo productos de datos que sólo tengan el nombre, pero que no generan ningún beneficio para el negocio…
Para construir productos de datos REALES, tus productos de datos deben cumplir los siguientes requisitos:
- Ser visibles: un producto de datos debe ser visible y entendible para todos los usuarios que los necesiten
- Ser descriptivos: los usuarios deben ser capaces de comprender la calidad de los datos y conocer la procedencia (linaje) de los datos para que puedan confiar en el producto de datos
- Ser interoperables: la gobernanza debe garantizar que los datos cumplan con cualquier estándar o regulación entre o dentro del dominio, de modo que el usuario final pueda usar los datos con confianza y sin preocupaciones
- Ser seguros: los productos de datos deben incluir cualquier autorización en el control de acceso proporcionado por el plano de experiencia de malla de datos, que es donde se produce el consumo de productos de datos
¿Cómo se ve esto en la práctica?
Cómo te comentaba anteriormente los productos de datos deben cumplir un conjunto de características para asegurar que éstos no generen caos.
Estas características no pueden ser construidas sólo por ingenieros de datos. Tampoco sólo por IT. Tampoco sólo por el negocio.
Deben ser construidas por todos ellos, con el objetivo de que la generación de productos de datos sea lo más simple posible. Automatizando todo lo que sea posible.
Ahora iremos comentando algunos consejos para conseguir cada requerimiento:
- Ser visibles: una buena opción es construir o utilizar un catálogo de datos, pero dejarlo específicamente para los productos de datos
- Ser descriptivos: una buena opción es agregar una etapa automatizada para anexar la calidad de datos y linaje a los pipelines que son generados por los ingenieros de datos.
- Ser interoperables: una opción es agregar una etapa automatizada que se encargue de validar que el tratamiento de datos cumpla con los estándares y regulaciones definidas por el equipo de gobierno de datos
- Ser seguros: una opción es agregar una etapa automatizada que se encargue de validar los accesos a los datos del usuario solicitante
A lo recién comentado también se les deben agregar requerimientos más del mundo IT por ejemplo, como versionamos nuestros productos de datos o como los pasamos a producción de forma segura.
Control de versiones de productos de datos
A medida que la cantidad de productos de datos aumente, la mantenibilidad de éstos crecerá de una forma que podría volverse incontrolable, por lo tanto, los productos de datos deben cumplir con un control rígido de versiones y que éste se encuentre visible para todos los consumidores.
Con la finalidad de que puedan decidir qué versión deben utilizar en el caso que el cambio modifique su funcionalidad.
Paso a producción de productos de datos
Una medida crítica para la construcción de los productos de datos es su respectivo paso a producción, dado que ésto nos permitirá asegurar que sean confiables.
Para conseguir esto se recomienda utilizar flujos de integración y despliegue continuo que reduzcan el riesgo de cambios inesperados que dañen irremediablemente la calidad del producto de datos.
¿Cómo habilita esto Data Mesh?
Tratar los datos como un producto es clave para habilitar e impulsar los otros tres principios que rigen Data Mesh:
- Los productos de datos refuerzan el valor de los datos por parte de una organización y garantizan que los datos se entiendan como una inversión valiosa en la empresa
- La propiedad y la arquitectura de los productos de datos impulsada por el dominio significa que las personas con la mayor experiencia en la materia serán los contribuyentes y serán responsables de su calidad, metadatos, etc
- Los productos de datos residen dentro de la infraestructura de autoservicio proporcionada y mantenida por el equipo de TI
- La seguridad, el cumplimiento y la regulación entre dominios para productos de datos son definidos y aplicados por el equipo de gobierno de datos
Cómo TurinGears te ayuda con los productos de datos
Durante el último tiempo hemos detectado que los equipos de negocios tienen una gran lejanía con los equipos de IT.
En algunos casos desconocen totalmente como generar productos de datos eficientes y de calidad productiva.
Por otro lado, vemos a los equipos de IT sobrepasados por la cantidad de retrabajo que deben hacer para pasar a producción los productos de datos generados por el negocio.
Y sin contar el tiempo que dedican en comprender las complejas lógicas de cálculo que propone el negocio.
Considerando estos puntos, nos enfocamos en construir herramientas que solucionen los problemas de generación de productos de datos confiables desde un enfoque de ingeniería y gobierno de datos.
Esto quiere decir que desarrollamos herramientas que faciliten la creación de productos de datos que se puedan implementar en tu ecosistema y que contengan implícitamente los lineamientos de tu equipo de IT y gobierno de datos.
Permitiendo que sean utilizadas por el negocio, provocando que tu organización escale orgánicamente.
¿Quieres obtener más información sobre cómo TurinGears puede ayudarte a crear productos de datos? ¡Contáctanos a contacto@turingears.com!
¿Quieres recibir nuestro newsletter semanal?
Para recibir nuestro Newsletter semanal, sólo debes registrarte con tu correo corporativo
¿Quieres actualizar tu arquitectura de datos?
Si te gusto este blog y quieres implementar esta arquitectura en tu compañía, no dudes en revisar nuestros servicios
¡QUIERO IMPLEMENTARLO!