← Todos os modelos
MODELO ABERTO APACHE-2.0

raqIA SAC-1

O primeiro language model da raqIA — construído inteiramente do zero: tokenizer, arquitetura Mixture-of-Experts, treinamento e benchmark, tudo em PyTorch puro. Feito para atendimento e vendas em português.

sac-1 · python generate.py
cliente: meu pedido nao chegou e ja passou do prazo sac-1: sinto muito pelo atraso ! pode me informar o numero do pedido para eu verificar ? cliente: ola , quero saber o preco sac-1: temos uma promocao especial com ate 30 por cento de desconto .

O que ele é

Um Small Language Model com arquitetura Mixture-of-Experts: cada token é roteado para 2 dos 8 experts especializados — o mesmo princípio por baixo do Mixtral. RoPE, RMSNorm, SwiGLU, weight tying e tokenizer BPE treinado do zero. Nenhuma dependência de modelo pré-treinado ou framework de LLM.

Benchmark — 904 perguntas, 8 categorias

CategoriaAcurácia
FAQ exata100%
Conversa multi-turno100%
Objeção de vendas100%
Script de vendas86,5%
Completar frase85,9%
FAQ parafraseada80,5%
Relevância de domínio75%
Classificação de intenção68,4%
Score composto85,7%

Como rodar

git clone https://huggingface.co/Raqia32/sac-1
cd sac-1
pip install torch
python generate.py          # chat interativo
python generate.py --demo   # demonstracao
python benchmark_qa.py      # rodar o benchmark

Limitações honestas

  • Treinado em ~3.900 textos sintéticos — para produção, precisa de dados reais do seu atendimento.
  • Vocabulário de 1.024 tokens: palavras fora do domínio viram <unk>.
  • Contexto de 256 tokens — conversas longas são truncadas.
  • É uma prova de conceito da arquitetura MoE, não um chatbot de produção.
Parâmetros12,4 M totais · ~5 M ativos/token
ArquiteturaTransformer MoE · 8 experts, top-2
Vocabulário1.024 tokens (BPE do zero)
Contexto256 tokens
Score85,7% — benchmark próprio
TreinoRTX 3060, minutos
LicençaApache-2.0 — uso comercial livre
Série visãoEPI-1 · EPI-2