Ate agora a raqIA publicou modelos de visao computacional — o EPI-1, o EPI-2, o Liner-1. Hoje a gente muda de faixa: estamos liberando o SAC-1, nosso primeiro language model, construido inteiramente do zero.
Nao e fine-tuning. Nao e LoRA. Nao e transfer learning de modelo americano. Cada peca — tokenizer, arquitetura, treinamento, benchmark — foi escrita na mao em PyTorch puro, sem depender de nenhum modelo pre-treinado.
O que e o SAC-1
Um Small Language Model (SLM) com arquitetura Mixture-of-Experts voltado para o dominio de atendimento ao cliente e vendas em portugues brasileiro.
| Parametros totais | 12.4 M |
| Parametros ativos/token | ~5 M (top-2 de 8 experts) |
| Vocabulario | 1.024 tokens (BPE do zero) |
| Contexto | 256 tokens |
| Licenca | Apache-2.0 |
| Treino | RTX 3060, minutos |
Por que Mixture-of-Experts?
MoE e o principio que roda por baixo do Mixtral e, segundo rumores, do GPT-4. A ideia e simples: em vez de um bloco feed-forward grande, voce tem 8 experts pequenos. A cada token, um router decide quais 2 experts sao os mais relevantes. Resultado: o modelo tem 12.4M de parametros no total, mas so ativa ~5M por token — eficiencia sem perder capacidade.
No SAC-1, as 6 camadas do Transformer alternam entre MoE (camadas 0, 2, 4) e Dense (camadas 1, 3, 5). Cada expert e um feed-forward com SwiGLU activation. O router e uma linear simples que projeta o hidden state para 8 scores, e os top-2 ganham.
Para evitar que todos os tokens caiam no mesmo expert (um problema classico de MoE), adicionamos um load balancing loss que penaliza distribuicoes desiguais.
O que mais tem dentro
- RoPE (Rotary Position Embedding) — codifica posicao direto na atencao, sem embedding separado;
- RMSNorm — normalizacao mais eficiente que LayerNorm;
- SwiGLU — activation que supera ReLU e GELU nos benchmarks academicos;
- Weight tying — embedding e LM head compartilham pesos, reduzindo parametros;
- Tokenizer BPE — Byte Pair Encoding treinado do zero no corpus do dominio. 1.024 tokens.
Tudo em PyTorch puro. Nenhuma dependencia de framework de LLM.
Os numeros — onde funciona e onde nao
Rodamos um benchmark com 904 perguntas divididas em 8 categorias. Aqui vai a verdade:
| Categoria | Acuracia | N |
|---|---|---|
| FAQ exata | 100% | 100 |
| Conversa multi-turno | 100% | 100 |
| Objeccao de vendas | 100% | 104 |
| Script de vendas | 86.5% | 100 |
| Completar frase | 85.9% | 100 |
| FAQ parafraseada | 80.5% | 150 |
| Relevancia de dominio | 75% | 100 |
| Classificacao de intencao | 68.4% | 150 |
| Score composto | 85.7% | 904 |
Onde funciona: perguntas que seguem o padrao do treino — FAQ, conversas completas, objeccoes de vendas — o modelo acerta tudo. 98.9% das respostas sao coerentes gramaticalmente.
Onde nao funciona: quando a pergunta e muito diferente do que ele
viu, a acuracia cai para 62-68%. Com vocabulario de 1.024 tokens, palavras fora do
dominio viram <unk>. Contexto de 256 tokens limita conversas longas.
Ele memoriza mais do que generaliza — e isso e esperado para um modelo treinado
com ~3.900 textos sinteticos.
Por que construir do zero?
A raqIA ja usa LLMs grandes via API nos nossos agentes. Entao por que gastar tempo construindo um modelo pequeno do zero?
Porque entender o que acontece dentro do modelo e o primeiro passo para construir solucoes que realmente funcionam. Quando voce treina do zero, voce sabe exatamente o que o modelo aprendeu, onde ele erra e por que. Nao e caixa preta.
Para o cliente, isso significa que quando a gente diz "esse modelo funciona no seu cenario", nos sabemos o que estamos dizendo — porque construimos cada peca.
O que vem a seguir
O SAC-1 e uma prova de conceito. A v2 pode incluir:
- Vocabulario maior e dados reais de atendimento;
- Mais experts especializados por tipo de demanda;
- Integracao com o bloco de agentes da raqIA — o SAC como roteador especialista dentro de um sistema maior.
Como baixar
Open-weights, Apache-2.0, documentacao em portugues. Pesos, codigo, benchmark:
Baixar o SAC-1 no HuggingFace ↗
Rodar:
git clone https://huggingface.co/Raqia32/sac-1 cd sac-1 python generate.py # chat interativo python generate.py --demo # demonstracao python benchmark_qa.py # rodar o benchmark
Quer um agente de atendimento que entende o seu negocio?
O SAC-1 e o modelo aberto. O que roda em cliente e treinado nos seus dados, integrado aos seus sistemas e com auditoria de cada decisao.
Falar no WhatsApp