Nos últimos anos, a Inteligência Artificial (IA) tem se consolidado como parte essencial das empresas e do dia a dia das pessoas. Entretanto, o uso intensivo de serviços em nuvem para executar modelos de IA levanta questões importantes sobre custos, latência e privacidade. Foi justamente para atender a essas necessidades que surgiu o Foundry Local, uma solução da Microsoft que possibilita a execução de inferências de IA diretamente no dispositivo.
O que é o Foundry Local?
O Foundry Local é uma plataforma voltada para inferência de modelos de IA localmente, aproveitando o hardware que você já possui. Em vez de enviar seus dados para a nuvem, o processamento acontece no seu próprio servidor ou computador. Isso reduz a dependência de internet, garante mais privacidade e, em muitos cenários, diminui custos recorrentes com serviços externos.
A solução foi projetada para se integrar facilmente aos fluxos de trabalho existentes, seja por meio de uma CLI (linha de comando), de um SDK ou de uma API REST.
Principais benefÃcios
Adotar o Foundry Local pode trazer várias vantagens estratégicas:
-
Inferência no dispositivo: os modelos são executados localmente, mantendo os dados em seu ambiente e reduzindo a exposição a terceiros.
-
Privacidade e segurança: informações sensÃveis permanecem dentro da infraestrutura da empresa.
-
Personalização de modelos: é possÃvel usar modelos já prontos ou adaptar os seus próprios, alinhados à s necessidades especÃficas do negócio.
-
Redução de custos: elimina gastos recorrentes com consumo de nuvem, aproveitando o hardware existente.
-
Integração simples: conexão rápida com aplicativos já em uso, com possibilidade de escalar para o Azure AI Foundry conforme a demanda crescer.
Quando o Foundry Local é a melhor escolha?
O uso do Foundry Local é especialmente indicado em situações como:
-
Ambientes onde a confidencialidade dos dados é obrigatória.
-
Locais com conectividade de internet restrita ou instável.
-
Necessidade de aplicações de IA em tempo real, com baixa latência.
-
Cenários de teste de modelos antes da migração para a nuvem.
-
Redução de custos de inferência para empresas que já possuem infraestrutura robusta.
Como instalar o Foundry Local
A instalação é simples e pode ser feita diretamente com o Winget. No Windows, basta executar:
Após a instalação, já é possÃvel baixar e interagir com modelos, por exemplo:
Esse comando fará o download do modelo phi-4 e abrirá uma interface de bate-papo baseada em texto para interação.
Open WebUI: interface gráfica para o Foundry Local
Para quem prefere utilizar uma interface web em vez da linha de comando, o Open WebUI é uma excelente opção. Trata-se de um projeto de código aberto que pode ser integrado ao Foundry Local, permitindo interações mais intuitivas.
Passos principais para instalação no Windows Server:
-
Baixar o instalador do Open WebUI e copiá-lo para
C:\Temp. -
Instalar o Miniconda com o comando:
-
Configurar o ambiente adicionando os diretórios do conda ao PATH.
-
Executar o instalador
OpenWebUIInstaller.exe. -
Dentro do Open WebUI, ativar Conexões Diretas e conectar o endpoint local do Foundry Local (ex.:
http://localhost:PORT/v1).
Conclusão
O Foundry Local é uma peça-chave para quem busca trazer a IA para dentro de casa, equilibrando desempenho, segurança, privacidade e custos. Ele oferece liberdade para experimentar e personalizar modelos sem a necessidade de depender totalmente da nuvem.
Seja para empresas que precisam manter dados crÃticos sob controle, para aplicações de IA em tempo real ou até para laboratórios de inovação que desejam explorar modelos de forma flexÃvel, o Foundry Local surge como uma solução poderosa e acessÃvel.
REF: https://aka.ms/edgeai-for-beginners
REF: https://learn.microsoft.com/en-us/azure/ai-foundry/foundry-local/what-is-foundry-local