¿De qué trata el proyecto?
El proyecto de César Atachao consiste en la creación de una arquitectura moderna de datos en AWS, diseñada para optimizar la toma de decisiones en una startup de comercio electrónico. El objetivo es reemplazar procesos manuales y tecnologías obsoletas con una solución escalable, automatizada y orientada al análisis en tiempo real.
¿Cuál problema viene a resolver?
La empresa ficticia enfrentaba desafíos típicos de muchas startups en crecimiento:
- Uso de un servidor on-premises con base de datos MySQL, sin capacidad de escalar.
- Procesamiento manual de información en Excel, lo que generaba errores, lentitud y poca visibilidad.
- Falta de automatización para transformar, almacenar y visualizar datos actualizados.
El problema principal es la ineficiencia en el manejo y análisis de datos, lo que afecta la velocidad, calidad y precisión en la toma de decisiones comerciales.
¿Cuál es la solución?
César diseñó una arquitectura moderna de datos basada en la nube de Amazon Web Services (AWS), estructurada en capas de procesamiento (bronce, plata y oro) que facilitan la gobernanza, limpieza, transformación y explotación de datos. Su enfoque combina:
- Migración automatizada desde la base de datos on-premise a S3 (capa bronce).
- Transformación y modelado dimensional con AWS Glue, aplicando técnicas como slowly changing dimensions tipo 2.
- Almacenamiento analítico en Amazon Redshift (capa plata).
- Visualización en Power BI, conectado directamente a Redshift para dashboards en tiempo real.
Además, incorporó automatización y orquestación de procesos usando AWS Step Functions, simulación de datos con AWS Lambda y contempla evolución futura con CloudFormation y EventBridge para tareas programadas.
¿Cómo fue construido?
El proyecto se implementó con los siguientes componentes clave de AWS:
Migración y carga de datos
- AWS Database Migration Service (DMS): Migración de datos desde MySQL on-premises a Amazon S3 (capa bronce).
Procesamiento y transformación
- AWS Glue: Limpieza, transformación y modelado dimensional con enfoque en slowly changing dimensions tipo 2.
- AWS Step Functions: Orquestación del flujo completo de ETL, con manejo de errores condicionales.
- AWS Lambda: Simulación de generación de datos para pruebas.
Almacenamiento y análisis
- Amazon Redshift: Data warehouse para consultas analíticas en tiempo real (capa plata).
- Amazon S3: Almacenamiento de datos crudos (capa bronce).
Visualización
- Power BI: Conexión directa a Redshift para dashboards actualizados automáticamente.
Futuras mejoras contempladas
- CloudFormation: Implementación de Infrastructure as Code (IaC).
- AWS EventBridge: Automatización periódica de pipelines.
- Mayor complejidad en Glue: Para enriquecer transformaciones avanzadas.
Este enfoque permite escalar fácilmente, adaptarse a necesidades cambiantes y facilitar una toma de decisiones basada en datos, automatizada y confiable.
