Data Mesh: Domain-driven Data Ownership
Como hemos conversado en otros artículos una arquitectura Data Mesh se basa en 4 principios para conseguir escalar las estrategias de datos de las organizaciones, en este artículo explicaremos qué es Domain Data Ownership y cómo puede ayudar a tu organización.
Primero, Domain Data Ownership no es una tecnología es una forma de organizar tus datos en dominios de negocios, de la misma forma como tu organización se divide en áreas o gerencias.
Esto con el objetivo de facilitar la búsqueda, construcción e intercambio de datos.
¿Que entendemos por dominio?
Para explicar que es un dominio, te pido que pienses en tu organización y analices las áreas o gerencias que existen, sabemos que cada una de ellas se compone por grupos de personas que realizan tareas para conseguir un propósito común.
Bueno, esto es un dominio.
Por dar algunos ejemplos claros, podríamos decir que un dominio es el área de Marketing, E-commerce, recursos humanos, etc.
Los principales problemas del modelo centralizado
A medida que una organización escala y utiliza con mayor intensidad sus datos, observamos una mayor desconexión entre los equipos que producen y los que los consumen.
Hemos visto muchas organizaciones que los productores trabajan en el equipo de IT y los consumidores en las áreas de negocio.
Claramente el problema no es de competencias, sino más bien que los equipos suelen tener diferentes objetivos y propósitos.
Por ejemplo, un equipo de IT puede estar preocupado por las tecnologías o arquitecturas, mientras que el equipo de negocio de las oportunidades que se pueden generar con los datos para mejorar la operación de la organización.
Ahora si pensamos en la generación de productos de datos, notamos claramente que el equipo IT tendrá una desventaja frente al negocio, dado que no conoce de forma directa el valor que se podría generar con ellos.
Si profundizamos en este punto, el equipo IT se preocupa por construir un producto con la mejor tecnología, resiliente y escalable, pero olvidan los metadatos de negocio que permiten contextualizar la data, agilizar la toma de decisiones y permitir el trabajo colaborativo.
Otra de las desventajas de este modelo se visualiza en que los requerimientos de productos de datos son entregados a ingenieros y analistas de datos que intentan comprender y generar datos que reflejen lo requerido por el negocio.
Generando los siguientes problemas:
- El conocimiento de construcción de productos de datos (técnico y negocio) queda únicamente en el equipo de IT
- El equipo de ingeniería de datos se vuelve el cuello de botella de la organización
- En el caso que el negocio requiera alguna actualización, dependerá de la carga de trabajo que tenga el equipo de IT. Generando retrasos adicionales
Analizando estos puntos podemos concluir que la recopilación de los datos en sí no es un gran desafío, si no el correcto desarrollo y etiquetado de datos para que las personas correctas puedan explotarlos en la organización de una forma eficiente.
Propiedad de datos basada en dominio
Ya analizamos los problemas que trae un modelo de datos centralizado, ahora veremos como la segmentación de datos en modelos de negocios puede mejorar los resultados generados por la explotación de datos en manos de los equipos de negocios.
Primero, como se comentó anteriormente los dominios se deben generar de acuerdo a la estructura de tu organización con la finalidad de descomponerla en grupos más pequeños.
Cada dominio de negocio debe ser responsable del ciclo de vida de los datos en su dominio.
En cada dominio de negocio deben haber personas de negocio, analistas de datos e ingenieros de datos trabajando en estrecha colaboración para producir productos de datos valiosos para el negocio y tengan un ROI claro.
Si bien esto le otorga libertades a los equipos de negocios, también tendrán las siguientes responsabilidades:
- Crear y entregar esos productos de datos a otros dominios y usuarios finales
- Garantizar que los datos sean accesibles, utilizables y cumplan con los criterios de calidad definidos
- Evolucionar los productos de datos en función de los comentarios de los usuarios y retirar el producto de datos cuando ya no es relevante
- Evangelizar y promocionar los productos de datos al resto de la organización
Esto a primera vista se suele ver como un problema para la mayoría de las organizaciones, dado que generalmente cuentan con escaso número de especialistas. No obstante, como veremos en otros artículos, será solucionado con herramientas que permitan escalar y facilitar la generación de productos de datos.
¿Cómo se ve esto en la práctica?
En la práctica, los dominios de negocios deben involucrar personas y procesos que puedan ingestar datos operativos y analíticos para producir productos de datos basados en su conocimiento experto y experiencia empresarial.
Los productos de datos de cada dominio deben disponibilizarse en los ambientes analíticos para sean utilizados por analistas y otros dominios; esto significa que el dominio debe describir los datos para que los usuarios fuera del dominio puedan entenderlos y usarlos fácilmente.
Por otro lado, para cumplir con el empoderamiento de los equipos de negocios puede ser necesaria una reorganización de los equipos de ingeniería de datos que normalmente dependen de un CTO o de un CIO a áreas de Marketing, BI, Logística, etc.
Esto no quiere decir que el día de mañana eliminemos las Data Factory, gerencias de ingeniería de datos u otra área específica de datos.
Sino más bien, que estas áreas deben comenzar a generar herramientas para que la reestructuración sea progresiva, segura y amigable.
Si bien esto puede generar un temor para las organizaciones, como consecuencia a que implica un trabajo adicional para los dominios de negocios y una posible restructuración.
También existen oportunidades como que los ingenieros de software, analistas de datos y analistas de negocios aprendan y se conviertan en ingenieros de datos interinos dentro de los dominios de negocios.
¿Cómo los dominios influyen en un Data Mesh?
Una arquitectura de datos impulsada por los dominios es fundamental para habilitar los otros principios de Data Mesh.
- Los dominios son los propietarios y productores de los productos de datos
- Cuando los dominios incluyen productos de datos de otros dominios, debe haber un contrato de colaboración entre éstos
- Un buen producto de datos, acelera el tiempo de comprensión y por lo tanto, aumenta el valor comercial general
- Los dominios controlan aspectos de la gobernanza que es específica para cada producto de datos
- Los dominios operan dentro del marco de seguridad, cumplimiento y regulación definidos y aplicados por la organización central de TI
Cómo TurinGears utiliza la propiedad orientada al dominio
Básicamente, en TurinGears te apoyamos en la definición y modelado de tus datos en dominios de negocios con el objetivo de proporcionar un ambiente que promueva el trabajo colaborativo y reduzca la complejidad de las tareas realizadas por los ingenieros de datos y que puedan ser adoptadas rápidamente por usuarios de negocio.
Por otro lado, si ya tienes una arquitectura centralizada y productiva, te ayudamos a adaptarla para conseguir los beneficios de Domain Drive Data Ownership de un Data Mesh.
¿Quieres recibir nuestro newsletter semanal?
Para recibir nuestro Newsletter semanal, sólo debes registrarte con tu correo corporativo
¿Quieres aplicar domain driven ownership en tus datos?
¿Tiene curiosidad por saber cómo TurinGears puede ayudarte a lograr una arquitectura de datos más orientada al dominio? ¡Contáctenos para discutir!
!Si, quiero!