Data Mesh: Federated Computational Governance
Como hemos conversado en otros artículos un Data Mesh se basa en 4 principios para conseguir escalar las estrategias de datos, en este artículo explicaremos qué es Federated Computational Governance y cómo puede ayudar a tu organización.
¿Qué es un gobierno de datos federado?
Como ya hemos explicado en artículos anteriores el propósito de utilizar productos de datos, infraestructuras de autoservicio y la propiedad impulsada por dominios es promover el trabajo colaborativo para aumentar la agilidad, reducir los costos operativos y empoderar a los equipos de negocio.
De acuerdo a esto un Data Mesh nos proporciona un nuevo paradigma donde las áreas funcionales toman un rol protagónico en la gestión, operación y explotación de datos.
No obstante, empoderar a los equipos de negocio sin un gobierno de datos descentralizado y altamente escalable va a aumentar exponencialmente el riesgo de fuga de información.
Antes de explicar cómo tener un gobierno de datos federado, te vamos a explicar brevemente qué es gobierno de datos.
El gobierno de datos nos permite hacer llegar los datos correctos. A las personas correctas. En el momento correcto.
Para conseguir esto, el equipo de gobierno de datos nos debe ayudar a responder las siguientes preguntas:
- Seguridad: ¿los usuarios están autorizados para consultar o usar los datos?
- Cumplimiento: ¿los datos siguen todas las reglas definidas?
- Calidad: ¿los datos tienen la calidad esperada por los usuarios de negocio?
- Disponibilidad: ¿los usuarios autorizados pueden acceder a los datos?
- Estandarización de datos: ¿se establecieron terminologías que permitan comprender fácilmente los datos de la organización?
- Linaje: ¿se definieron los responsables y la comprensión de dónde provienen?
Con la definición clara de que es gobierno de datos, podemos decir que la principal diferencia entre un gobierno de datos tradicional y uno federado es que el segundo se encarga de establecer mecanismos a nivel global que permiten controlar los requerimientos con políticas globales, mientras que el tradicional se basa en tratar a los datos como una unidad, por lo tanto, la única manera de escalar es a medida que exista mayor personal.
Los desafíos de un gobierno de datos centralizado
En un gobierno de datos centralizado, cada operación se realiza de acuerdo a las necesidades del negocio y considerándolo como una unidad de trabajo.
Esto quiere decir que, cuando el negocio nos solicite información de las compras de los clientes, el equipo de gobierno de datos se va a encargar de analizar si la información es sensible, definir métricas de calidad, definir taxonomías, entre otros.
Dichos análisis y definiciones van a ser aplicadas por el equipo de ingeniería para proporcionar la información de la forma correcta a los usuarios de negocio.
Ahora, ¿Qué sucede si en vez de una tabla nos piden 5.000?
Claramente la única forma de conseguir los resultados es aumentando la dotación del equipo de gobierno de datos.
La mala noticia es que la mayoría de las organizaciones no pueden contar con decenas de ingenieros, sino más bien que cuentan con un par de ellos, es por esto que debemos replantearnos nuestros modelos de gobierno de datos para escalarlos a la velocidad que requieren los usuarios de negocio.
Gobierno de datos federado
Data Mesh propone compartir la responsabilidad de gobierno de datos, esto quiere decir que los usuarios de negocio pueden aplicar criterios que refuercen el gobierno de datos centralizado de una forma eficiente y escalable.
Los beneficios de hacer esto, es otorgar autonomía a los dominios de negocio, anexar conocimiento experto y gobernar los datos con políticas globales que aseguren el correcto uso de los datos.
Gobierno al interior de los dominios
Los dominios de negocio asumen la responsabilidad de algunas características de la gobernanza, que en un modelo tradicional, se habrían dejado en manos del equipo central de gobierno. Por ejemplo, definir qué métricas son relevantes para evaluar la calidad de los datos para un producto de datos.
En la práctica cada vez que el dominio genere un producto de datos debe definir estándares de calidad que van a ser aplicados en periodos definidos.
Gobierno entre dominios
Por otro lado, hay aspectos de gobernanza que deben definirse entre dominios. Si usamos el ejemplo anterior de calidad de datos, podríamos requerir que cuando un producto de datos se publique en el Data Mesh, se debe informar que la calidad de los datos debe cuantificarse y ser reportado.
Modelo compartido
En conclusión en lugar de dictar un gobierno de datos centralizado que controla sin tener en cuenta las diferencias de cada dominio, Data Mesh adopta un modelo de gobierno de datos federado. Esto quiere decir que equilibra las necesidades y el conocimiento de cada dominio con los requisitos del negocio para producir una división de responsabilidades claramente articulada y acordada.
¿Cómo es esto en la práctica?
Primero que nada se debe comenzar a definir estándares de gobierno de datos que son aplicados entre dominios de negocios y deben ser aplicados de forma automatizada, sin aumentar la carga operativa del equipo de gobierno de datos. Algunos ejemplos de estos estándares pueden ser: registrar el linaje de datos, nomenclaturas, políticas de cumplimiento, entre otros.
Mientras que los equipos de negocio son responsables de definir los estándares locales, por ejemplo validar el dominio de los atributos, en consecuencia a que los equipos de negocio tiene un conocimiento más profundo de la definición y procedencia de los datos.
Para llevar a cabo la aplicación de un gobierno de datos federado se pueden realizar reuniones entre el equipo centralizado y un representante por dominio de negocios o generar una plataforma de gestión de la demanda que permita a los usuarios de negocio autogestionarse.
¿Cómo Data Mesh lo permite?
Un gobierno de datos federado es clave para impulsar los otros principios que rigen Data Mesh:
- Los dominios tienen responsabilidades claras y bien definidas para operar dentro de sus espacios de trabajo
- Los productos de datos cumplen estándares claros que aumentan la confianza de los usuarios y de los reguladores
- El gobierno de datos federado brinda requisitos claros, definiendo lo que se requiere en términos de herramientas y cumplimiento
Cómo TurinGears apoya un gobierno de datos federado
En TurinGears generamos las herramientas necesarias que te van a permitir establecer un gobierno de datos federado o convertir tu gobierno de datos centralizado en uno federado para conseguir reducir tus costos y conseguir economías de escala.
Cómo herramientas nos referimos a integrar verticalmente las tareas realizadas por los ingenieros de datos con un gobierno de datos federado durante las etapas de migración de datos, creación de datos confiables y entrega de datos.
Con nuestras herramientas hemos reducido drásticamente los costos operativos de los equipos de ingeniería y gobierno de datos, consiguiendo en algunos casos un retorno sobre la inversión en menos de seis meses.
Si quieres evaluar cómo podemos ayudar a tu organización a optimizar tu modelo de gobierno de datos, escríbenos a contacto@turingears.com y vamos a coordinar una reunión de algunos minutos.
¿Quieres recibir nuestro newsletter semanal?
Para recibir nuestro Newsletter semanal, sólo debes registrarte con tu correo corporativo