Ate agora a raqIA publicou modelos de visao computacional — o EPI-1, o EPI-2, o Liner-1. Hoje a gente muda de faixa: estamos liberando o SAC-1, nosso primeiro language model, construido inteiramente do zero.

Nao e fine-tuning. Nao e LoRA. Nao e transfer learning de modelo americano. Cada peca — tokenizer, arquitetura, treinamento, benchmark — foi escrita na mao em PyTorch puro, sem depender de nenhum modelo pre-treinado.

O que e o SAC-1

Um Small Language Model (SLM) com arquitetura Mixture-of-Experts voltado para o dominio de atendimento ao cliente e vendas em portugues brasileiro.

Parametros totais12.4 M
Parametros ativos/token~5 M (top-2 de 8 experts)
Vocabulario1.024 tokens (BPE do zero)
Contexto256 tokens
LicencaApache-2.0
TreinoRTX 3060, minutos

Por que Mixture-of-Experts?

MoE e o principio que roda por baixo do Mixtral e, segundo rumores, do GPT-4. A ideia e simples: em vez de um bloco feed-forward grande, voce tem 8 experts pequenos. A cada token, um router decide quais 2 experts sao os mais relevantes. Resultado: o modelo tem 12.4M de parametros no total, mas so ativa ~5M por token — eficiencia sem perder capacidade.

No SAC-1, as 6 camadas do Transformer alternam entre MoE (camadas 0, 2, 4) e Dense (camadas 1, 3, 5). Cada expert e um feed-forward com SwiGLU activation. O router e uma linear simples que projeta o hidden state para 8 scores, e os top-2 ganham.

Para evitar que todos os tokens caiam no mesmo expert (um problema classico de MoE), adicionamos um load balancing loss que penaliza distribuicoes desiguais.

O que mais tem dentro

Tudo em PyTorch puro. Nenhuma dependencia de framework de LLM.

Os numeros — onde funciona e onde nao

Rodamos um benchmark com 904 perguntas divididas em 8 categorias. Aqui vai a verdade:

Categoria Acuracia N
FAQ exata100%100
Conversa multi-turno100%100
Objeccao de vendas100%104
Script de vendas86.5%100
Completar frase85.9%100
FAQ parafraseada80.5%150
Relevancia de dominio75%100
Classificacao de intencao68.4%150
Score composto 85.7% 904

Onde funciona: perguntas que seguem o padrao do treino — FAQ, conversas completas, objeccoes de vendas — o modelo acerta tudo. 98.9% das respostas sao coerentes gramaticalmente.

Onde nao funciona: quando a pergunta e muito diferente do que ele viu, a acuracia cai para 62-68%. Com vocabulario de 1.024 tokens, palavras fora do dominio viram <unk>. Contexto de 256 tokens limita conversas longas. Ele memoriza mais do que generaliza — e isso e esperado para um modelo treinado com ~3.900 textos sinteticos.

Por que construir do zero?

A raqIA ja usa LLMs grandes via API nos nossos agentes. Entao por que gastar tempo construindo um modelo pequeno do zero?

Porque entender o que acontece dentro do modelo e o primeiro passo para construir solucoes que realmente funcionam. Quando voce treina do zero, voce sabe exatamente o que o modelo aprendeu, onde ele erra e por que. Nao e caixa preta.

Para o cliente, isso significa que quando a gente diz "esse modelo funciona no seu cenario", nos sabemos o que estamos dizendo — porque construimos cada peca.

O que vem a seguir

O SAC-1 e uma prova de conceito. A v2 pode incluir:

Como baixar

Open-weights, Apache-2.0, documentacao em portugues. Pesos, codigo, benchmark:

Baixar o SAC-1 no HuggingFace ↗

Rodar:

git clone https://huggingface.co/Raqia32/sac-1
cd sac-1
python generate.py          # chat interativo
python generate.py --demo   # demonstracao
python benchmark_qa.py      # rodar o benchmark

Quer um agente de atendimento que entende o seu negocio?

O SAC-1 e o modelo aberto. O que roda em cliente e treinado nos seus dados, integrado aos seus sistemas e com auditoria de cada decisao.

Falar no WhatsApp