Área de tecnologia principal: Azure | Microsoft Azure
Áreas de tecnologia adicionais: M365 | Copilot
Dados do autor: https://linktr.ee/edupopov
A Microsoft Research vem trabalhando em uma abordagem que pode mudar significativamente a forma como pensamos sobre a infraestrutura necessária para executar modelos de Inteligência Artificial.
O projeto chama-se BitNet e uma das peças mais interessantes desse ecossistema é o bitnet.cpp, framework de inferência desenvolvido especificamente para modelos de linguagem de aproximadamente 1,58 bit.
A proposta é relativamente simples de explicar, mas bastante impactante: permitir que grandes modelos de linguagem sejam executados utilizando muito menos memória, processamento e energia — inclusive em CPUs convencionais, sem a obrigatoriedade de utilizar GPUs de alto desempenho ou infraestrutura especializada em nuvem.
O que torna o BitNet diferente?
Grande parte dos modelos de linguagem tradicionais trabalha com pesos representados em formatos como FP32, FP16 ou BF16.
FP32, FP16 e BF16 não são tipos de parâmetros do modelo; são formatos numéricos usados para armazenar valores, como os pesos de uma rede neural.
Em um LLM, existem bilhões de valores matemáticos representando os pesos do modelo. Esses números precisam ser armazenados na memória de alguma forma. É aí que entram esses formatos.
- FP32 — Floating Point 32 bits: usa 32 bits, ou 4 bytes, para armazenar cada valor. Tem boa precisão, mas consome mais memória e processamento.
- FP16 — Floating Point 16 bits: usa 16 bits, ou 2 bytes. Consome metade da memória do FP32 e é muito utilizado em GPUs para treinamento e inferência.
- BF16 — BFloat16: também usa 16 bits, mas distribui esses bits de forma diferente. Ele preserva uma faixa numérica semelhante ao FP32, porém com menor precisão nos detalhes. É muito usado em treinamento de IA em GPUs e aceleradores modernos.
Um exemplo ajuda bastante. Imagine um modelo com 100 bilhões de parâmetros. Considerando apenas os pesos, sem contar memória adicional necessária para execução:
Isso significa que cada parâmetro do modelo precisa de vários bits para ser armazenado e processado.
O BitNet b1.58 propõe uma abordagem completamente diferente.
Seus pesos são ternários, podendo assumir apenas três valores:
-1, 0 ou +1
Matematicamente, três estados podem ser representados com aproximadamente 1,58 bit de informação, daí o nome BitNet b1.58.
Essa simplificação permite desenvolver kernels de inferência altamente otimizados, reduzindo significativamente a quantidade de dados movimentados pela memória e diminuindo o custo computacional das operações realizadas durante a geração dos tokens.
Não significa que as operações matriciais simplesmente deixaram de existir. A grande diferença está na maneira como os pesos são representados e processados, permitindo substituir diversas operações mais caras de ponto flutuante por implementações extremamente eficientes voltadas para modelos ternários.
Um modelo de 100 bilhões de parâmetros em uma única CPU?
Este talvez seja o dado que mais chama atenção no projeto.
Segundo os resultados publicados pela Microsoft Research, o bitnet.cpp consegue executar experimentalmente um modelo BitNet b1.58 de 100 bilhões de parâmetros em uma única CPU, atingindo aproximadamente:
5 a 7 tokens por segundo.
É uma velocidade que os pesquisadores comparam aproximadamente ao ritmo de leitura humana.
Os resultados foram obtidos em cenários de pesquisa e variam conforme arquitetura, tamanho do modelo, hardware e configuração utilizada. Portanto, não devemos interpretar esses números como garantia de que qualquer notebook executará automaticamente um modelo 100B a 7 tokens por segundo.
Ainda assim, a demonstração é extremamente relevante porque mostra que CPU pode voltar a desempenhar um papel importante na inferência de grandes modelos de IA.
Um ponto importante sobre o modelo de 100B
Aqui existe uma distinção que considero importante.
A Microsoft não disponibilizou um BitNet oficial de 100 bilhões de parâmetros como seu principal modelo público.
O cenário de 100B apresentado no projeto está relacionado aos experimentos utilizados para demonstrar a capacidade e a escalabilidade do framework de inferência.
O modelo oficial disponibilizado pela Microsoft é o BitNet b1.58 2B4T, atualmente apresentado no repositório como um modelo de aproximadamente 2,4 bilhões de parâmetros, treinado com nada menos que 4 trilhões de tokens.
Essa distinção é importante para não transformar um resultado de pesquisa em uma afirmação comercial.
E a qualidade do modelo?
Naturalmente surge uma pergunta:
reduzir tanto a precisão numérica não destrói a qualidade do modelo?
Os resultados apresentados pelos pesquisadores indicam que não necessariamente.
O BitNet b1.58 2B4T foi treinado nativamente utilizando essa arquitetura e avaliado em diferentes tipos de benchmarks, envolvendo compreensão de linguagem, raciocínio matemático, programação e conversação.
Segundo o relatório técnico, o modelo consegue apresentar resultados competitivos quando comparado a outros modelos abertos de precisão completa e tamanho semelhante.
Este detalhe é fundamental.
Não estamos falando simplesmente de pegar qualquer modelo tradicional treinado em FP16 e comprimi-lo agressivamente depois.
O conceito do BitNet envolve treinar modelos desde o início considerando a representação ternária dos pesos.
É uma mudança de arquitetura, e não apenas uma técnica convencional de compressão aplicada no final do processo.
Por que isso pode ser tão importante?
Durante os últimos anos, a evolução dos LLMs esteve diretamente associada à necessidade de GPUs cada vez mais poderosas.
Quanto maior o modelo, maior normalmente é a necessidade de:
Projetos como o BitNet tentam atacar justamente essa relação.
Se modelos cada vez mais eficientes puderem executar localmente utilizando CPU, uma nova categoria de aplicações torna-se possível.
IA completamente offline
Um dos cenários mais interessantes é executar modelos de Inteligência Artificial sem conexão permanente com a Internet.
Isso permite que prompts, documentos e informações processadas permaneçam dentro do próprio equipamento.
Para empresas preocupadas com privacidade, soberania de dados, compliance e proteção de informações corporativas, este modelo de utilização é particularmente interessante.
Naturalmente, executar um LLM localmente não elimina sozinho todos os riscos de segurança, mas reduz a necessidade de enviar cada interação para uma infraestrutura externa.
Edge Computing e IoT
Outro possível impacto está no chamado Edge Computing.
Imagine modelos de IA executando diretamente em:
notebooks;
servidores locais;
dispositivos embarcados;
equipamentos industriais;
sistemas de automação;
dispositivos IoT;
estações localizadas em regiões com pouca conectividade.
Modelos menores e computacionalmente eficientes tornam muito mais viável colocar Inteligência Artificial próxima da origem dos dados.
Em vez de:
Dispositivo → Internet → Cloud → LLM → Internet → Dispositivo
podemos começar a trabalhar em determinados cenários com:
Dispositivo → LLM local
Isso reduz dependência de conectividade, latência e, dependendo da aplicação, também custos operacionais.
Menos dependência do custo de inferência em nuvem
Outro aspecto interessante é econômico.
Hoje, muitas aplicações baseadas em Inteligência Artificial trabalham com APIs onde o custo está diretamente associado à quantidade de tokens processados.
Quanto maior a utilização, maior a conta.
Executar determinados modelos localmente permite mudar essa equação.
O custo deixa de estar necessariamente associado a:
cada prompt + cada token + cada resposta
e passa a estar relacionado principalmente à infraestrutura já disponível.
Não significa que a nuvem deixará de ser necessária.
Muito pelo contrário.
Modelos gigantes, treinamento de IA e grandes cargas corporativas continuarão utilizando GPUs, aceleradores e datacenters especializados.
Mas podemos começar a ter uma arquitetura híbrida muito mais interessante:
IA local para determinadas tarefas + IA em nuvem para tarefas mais complexas.
ARM e x86
Outro ponto bastante relevante é o suporte às duas principais arquiteturas presentes atualmente no mercado.
O BitNet trabalha com plataformas:
x86
presentes em grande parte dos computadores e servidores Intel e AMD;
e
ARM
cada vez mais presente em notebooks, dispositivos móveis, equipamentos de borda e computadores baseados em Apple Silicon.
O projeto atualmente oferece inferência otimizada em CPU e também já recebeu suporte oficial para GPU, enquanto suporte a NPU continua fazendo parte da evolução do projeto.
Código aberto
Talvez outro elemento que ajude a explicar o interesse da comunidade seja o fato de o projeto estar disponível publicamente.
O bitnet.cpp é open source e distribuído sob licença MIT.
Em agosto de 2026, o repositório oficial da Microsoft já ultrapassava aproximadamente 40 mil estrelas e 3,7 mil forks no GitHub, demonstrando o interesse crescente da comunidade em torno da ideia de modelos extremamente eficientes.
Estamos entrando na era dos LLMs de 1 bit?
Ainda é cedo para dizer que modelos tradicionais serão simplesmente substituídos por arquiteturas de 1 bit.
Existem inúmeros desafios relacionados a treinamento, compatibilidade, hardware, ecossistema, qualidade dos modelos e desenvolvimento das aplicações.
Mas o BitNet mostra algo extremamente importante:
O futuro da Inteligência Artificial não depende apenas de construir modelos maiores.
Também depende de descobrir maneiras muito mais eficientes de executá-los.
Durante anos, uma das principais discussões do mercado foi:
Quantas GPUs precisamos para executar este modelo?
Talvez uma pergunta igualmente importante comece a ganhar espaço:
Quanto conseguimos reduzir o custo computacional desse modelo sem comprometer sua capacidade?
Se pesquisas como o BitNet continuarem evoluindo, poderemos ver modelos bastante poderosos executando em equipamentos que hoje sequer consideramos adequados para grandes cargas de Inteligência Artificial.
Isso pode significar IA privada, local, offline, distribuída e muito mais próxima do usuário.
E talvez essa seja uma das evoluções mais interessantes da Inteligência Artificial nos próximos anos.
Fontes e referências
Microsoft — BitNet / bitnet.cpp
Repositório oficial Microsoft Research no GitHub: microsoft/BitNet
Microsoft Research — The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
Relatório que apresenta os fundamentos da arquitetura BitNet b1.58.
Microsoft Research — 1-bit AI Infra: Fast and Lossless BitNet b1.58 Inference on CPUs
Trabalho técnico responsável pelos benchmarks do framework bitnet.cpp.
Microsoft Research — BitNet b1.58 2B4T Technical Report
Relatório técnico do modelo treinado com 4 trilhões de tokens.
Fonte original utilizada como referência para este artigo:
https://lnkd.in/eebehapK
Os resultados de desempenho apresentados neste artigo são baseados nos benchmarks publicados pelos pesquisadores da Microsoft. O desempenho real pode variar de acordo com processador, quantidade de memória, arquitetura, modelo e configuração utilizada.