- Área de tecnologia principal: Data Platform | Fabric
- Áreas de tecnologia adicionais: Microsoft Fondry | Microsoft Fondry
- Dados do autor: https://linktr.ee/edupopov
Visão geral da arquitetura
Esta é uma arquitetura moderna de dados + IA, baseada em Microsoft Fabric, organizada em 5 grandes camadas:
- Origens
- Ingesta
- Processamento (Lakehouse)
- Consumo
- AI Foundry (Agentes de IA)
No contexto ilustrado pela arquitetura apresentada, o funcionamento do modelo medalhão inicia-se na camada Bronze, onde dados provenientes de múltiplas origens — como dispositivos de streaming, arquivos não estruturados, fontes semiestruturadas e bancos de dados relacionais — são ingeridos por meio de mecanismos de orquestração, como o Data Factory do Microsoft Fabric.
Esses dados são armazenados no Lakehouse sem alterações substanciais, garantindo a preservação do conteúdo bruto e a possibilidade de reprocessamento futuro. Em seguida, a camada Silver recebe os dados oriundos da Bronze, aplicando operações de limpeza, padronização, tipagem e validações técnicas por meio de notebooks e dataflows. Essa etapa estabelece uma base de dados tecnicamente confiável, adequada para integrações e análises mais consistentes, sem ainda incorporar regras complexas de negócio.
A camada Gold representa o nível mais elevado dessa arquitetura, no qual os dados são transformados em ativos informacionais orientados ao consumo organizacional. Nesse estágio, conforme exemplificado na imagem, os dados são agregados, enriquecidos com regras de negócio e disponibilizados por meio de modelos semânticos e endpoints SQL, viabilizando o consumo por ferramentas como Power BI, Power Automate e, de forma mais avançada, por agentes de inteligência artificial no ambiente de AI Foundry.
| Camada | O que é (descrição simplificada) | Elementos Técnicos | Exemplos Práticos |
|---|---|---|---|
| Bronze | Camada de dados brutos, armazenados exatamente como chegam das fontes, sem transformações relevantes. Serve como base histórica e ponto de reprocessamento. | • Data Factory (ingestão) • Lakehouse – camada Bronze • OneLake • Arquivos Delta/Parquet | • CSV recebido de um sistema legado • Logs brutos de aplicações • JSON de APIs externas • Dados de streaming de sensores (IoT) |
| Silver | Camada de dados tratados tecnicamente, onde ocorre limpeza, padronização e correção de erros. Os dados tornam‑se confiáveis do ponto de vista técnico. | • Notebooks (Spark) • Dataflows • Lakehouse – camada Silver | • Remoção de registros duplicados • Conversão de datas e tipos de dados • Padronização de códigos e chaves • Enriquecimento leve (ex.: descrição de status) |
| Gold | Camada de dados prontos para negócio, com regras de negócio aplicadas, métricas calculadas e estrutura voltada ao consumo analítico e à IA. | • Lakehouse – camada Gold • SQL Endpoint • Semantic Model • Power BI • AI Foundry / Agentes | • Faturamento mensal consolidado • Métricas de audiência • KPIs corporativos • Dados utilizados por agentes de IA (RAG, análise e recomendação) |
Esses agentes, ao acessarem dados curados e governados, conseguem responder a consultas, produzir análises e gerar recomendações com maior precisão e aderência ao contexto corporativo. Assim, a arquitetura medalhão não apenas organiza o fluxo técnico dos dados, mas também estabelece a base estrutural para decisões orientadas por dados e para o uso responsável de soluções de IA em escala empresarial.
| Conceito | Explicação Simplificada | Correlação com a Arquitetura |
|---|---|---|
| Data Factory | Serviço responsável pela ingestão e orquestração dos dados, conectando múltiplas fontes e movendo informações de forma controlada para a plataforma analítica. Atua no início do ciclo de vida do dado. | Na figura, o Data Factory aparece na camada de Ingesta, sendo o componente que transporta dados das Origens (stream, arquivos e bancos) para o Lakehouse dentro do Microsoft Fabric. |
| Microsoft Fabric | Plataforma unificada que concentra ingestão, processamento, armazenamento, analytics, BI e IA, reduzindo silos e simplificando a arquitetura de dados corporativa. | Representa o ambiente central da arquitetura, onde estão integrados Data Factory, Lakehouse, OneLake, governança e consumo analítico. |
| Lakehouse | Modelo que combina características de Data Lake e Data Warehouse, permitindo flexibilidade no armazenamento e estrutura para análises avançadas. É onde o conceito medalhão é aplicado. | Na imagem, o Lakehouse abriga as camadas Bronze, Silver e Gold, sendo o local onde os dados são refinados progressivamente até se tornarem prontos para consumo. |
| Arquitetura Medalhão (Bronze / Silver / Gold) | Padrão que organiza os dados em camadas de maturidade, começando com dados brutos e evoluindo até dados confiáveis e orientados ao negócio. | Visualmente representada no Lakehouse: Bronze (dados brutos), Silver (dados tratados) e Gold (dados de negócio), com fluxos de refinamento entre elas. |
| AI Foundry | Ambiente destinado à criação e execução de soluções de IA, permitindo que modelos e agentes consumam dados corporativos de forma governada. | Na arquitetura, o AI Foundry está na camada final, consumindo dados provenientes do Semantic Model / SQL Endpoint, construídos sobre a camada Gold. |
| Multi-Agent | Abordagem de IA baseada em múltiplos agentes especializados, que colaboram para responder consultas, executar análises e gerar recomendações. | Representado no bloco de AI Foundry, com agentes como Router Agent, Data Agent, Research Agent e Advisor Agent interagindo entre si e com os dados do Lakehouse. |
Síntese conceitual
De forma integrada, a arquitetura mostra como o Data Factory viabiliza a ingestão, o Microsoft Fabric centraliza os serviços, o Lakehouse aplica o modelo medalhão para garantir qualidade dos dados e o AI Foundry com múltiplos agentes utiliza esses dados refinados para gerar valor analítico e cognitivo ao usuário final. Essa correlação evidencia como cada componente atua em uma etapa específica, mas complementar, do ecossistema moderno de dados e inteligência artificial.
Mapa mental
Por que o conceito Medalhão é tão importante?
1. Governança e Compliance
- Facilita LGPD
- Rastreabilidade dos dados
- Linhagem clara (origem → consumo)
2. Qualidade e Confiabilidade
- Erros são isolados nas camadas iniciais
- BI e IA só consomem Gold
3. Escalabilidade
- Novas origens entram na Bronze sem quebrar tudo
- Novos relatórios usam Gold sem retrabalho
4. Ideal para IA e RAG
- IA consome dados curados
- Uso seguro em agentes e copilots
- Evita “alucinação” por dado errado