ETL da API VerdanaDesk

Contexto

A VerdanaDesk expõe dados de atendimento via API REST. Sem um processo de ingestão estruturado, esses dados ficam limitados ao consumo pontual, sem histórico nem padronização.

Problema

Dados de atendimento disponíveis apenas via API, sem estrutura histórica nem modelagem preparada para análise.

Objetivo

Criar um pipeline de ETL que transforme os dados da API em um modelo dimensional, permitindo análises históricas confiáveis.

Arquitetura da solução

Camada de staging para os dados brutos da API, camada de transformação em Python/Pandas e camada final modelada em star schema, persistida via SQLAlchemy em PostgreSQL.

Pipeline

1. 1API VerdanaDesk
2. 2Extração (Requests)
3. 3Staging
4. 4Transformação
5. 5Deduplicação
6. 6Surrogate Keys
7. 7Star Schema
8. 8PostgreSQL

Modelagem

Modelagem dimensional (star schema) com tabelas fato de atendimentos e tabelas dimensão de clientes, agentes e tempo, usando surrogate keys para garantir integridade histórica.

Processo técnico

• Extração dos dados via requisições autenticadas à API (Requests)
• Staging dos dados brutos sem transformação
• Tratamento, deduplicação e padronização com Pandas
• Geração de surrogate keys e carga no modelo dimensional
• Persistência em PostgreSQL via SQLAlchemy

Insights

• Estrutura pronta para métricas de volume e tempo de atendimento
• Modelo preparado para conexão direta com Power BI

Resultados

Data warehouse simples, consistente e pronto para ser consumido por ferramentas de BI.

• Camada de staging isolada, facilitando reprocessamento
• Data warehouse dimensional consumível por ferramentas de BI

Screenshots