Cubo Pago

Cubo Pago enfrentaba desafíos relacionados con la gestión de datos y la inteligencia de negocios. Sus datos residían en varios sistemas, incluyendo bases de datos PostgreSQL alojadas en AWS RDS. Necesitaban una solución escalable que pudiera extraer, cargar y transformar datos en información accionable. El objetivo era implementar un pipeline de datos fluido que pudiera manejar grandes volúmenes, automatizar flujos de trabajo y proporcionar análisis interactivo y autoservicio para su equipo. Además, buscaban crear una plataforma de BI intuitiva que permitiera a sus stakeholders acceder y analizar datos de manera eficiente.

En lugar de realizar un taller, se optó por una colaboración directa con Cubo Pago, diseñando una solución a medida basada en sus necesidades específicas. El enfoque se centró en establecer un pipeline de datos robusto que aprovechara BigQuery como almacén de datos y Looker como herramienta de inteligencia de negocios. Los elementos clave del enfoque incluyeron:

• Establecer un proceso ELT (Extract, Load, Transform) utilizando Google Cloud Storage (GCS) y BigQuery para integrar datos desde PostgreSQL alojado en AWS RDS.
• Automatizar la ingesta de datos mediante Fivetran para simplificar el proceso ETL.
• Usar BigQuery para transformar y materializar datos, creando una base sólida para el análisis detallado.
• Configurar Looker para desarrollar visualizaciones, reportes y dashboards que permitieran al equipo explorar datos de manera interactiva.

La solución implementada para Cubo Pago incluyó varios componentes clave:

Integración de Datos:

• Se extrajeron manualmente datos de la base de datos PostgreSQL alojada en AWS RDS, dividiéndolos en fragmentos manejables y cargándolos en GCS.
• Se crearon tablas externas (L0) en BigQuery que apuntaban a los archivos crudos almacenados en GCS, proporcionando una solución escalable y tolerante a fallos para manejar los datos de PostgreSQL.

Transformación de Datos:

• BigQuery se utilizó como motor de transformación, donde los datos fueron materializados, limpiados y agregados (L1 a L3) para asegurar su preparación para reportes y análisis.

Inteligencia de Negocios con Looker:

• Looker se configuró para crear vistas de datos y tablas derivadas persistentes (PDTs) para mejorar el rendimiento.
• Se desarrollaron dos Explores en Looker, permitiendo a los equipos de Cubo Pago analizar fácilmente datos de transacciones y actividades de comerciantes.
• Se diseñaron dashboards que proporcionaron insights sobre indicadores clave de rendimiento (KPIs), habilitando el autoservicio de BI para los usuarios de negocio.

Automatización:

• Se implementaron automatizaciones mediante consultas programadas en BigQuery e ingesta de datos a través de Fivetran, reduciendo la necesidad de intervenciones manuales y asegurando actualizaciones oportunas.

El proyecto de prueba de concepto (PoC) con Cubo Pago fue un éxito rotundo, logrando los siguientes resultados clave:

• Pipeline de Datos Optimizado: El proceso ELT estableció un pipeline confiable y escalable para la extracción, transformación y carga de datos, permitiendo a Cubo Pago manejar datos de manera más eficiente.
• Análisis Avanzado: Los dashboards de Looker ofrecieron insights accionables, facilitando el análisis de datos de transacciones, seguimiento de actividades de comerciantes y monitoreo de KPIs.
• BI de Autoservicio: La configuración permitió a Cubo Pago empoderar a sus equipos para explorar datos, crear reportes personalizados y tomar decisiones basadas en datos en toda la organización.
• Escalabilidad y Automatización: El uso de BigQuery y Fivetran aseguró que el pipeline de datos fuera escalable y automatizado, reduciendo la dependencia de la gestión manual y permitiendo al negocio enfocarse en obtener insights en lugar de administrar datos.

Cubo Pago está explorando nuevas oportunidades para mejorar sus capacidades de análisis de datos, incluyendo la automatización de la ingesta de registros nuevos y actualizados. Entre las posibles mejoras futuras se encuentra el uso de Google Cloud SQL para simplificar la integración con PostgreSQL, eliminando la necesidad de exportaciones manuales y permitiendo consultar la base de datos directamente desde BigQuery. Esto agilizaría aún más el pipeline de datos, facilitando el procesamiento en tiempo real y mejorando la eficiencia operativa.

La implementación exitosa de BigQuery y Looker para Cubo Pago ejemplifica cómo aprovechar Google Cloud Platform puede generar soluciones de datos potentes. Al asociarse con Semantiks, Cubo Pago no solo optimizó la gestión de sus datos, sino que también empoderó a sus equipos con herramientas para extraer insights valiosos y tomar decisiones informadas. Semantiks sigue comprometido con ayudar a clientes como Cubo Pago a aprovechar al máximo su potencial de datos para alcanzar el éxito empresarial.