← Todos os modelos
MODELO ABERTO
APACHE-2.0
raqIA SAC-1
O primeiro language model da raqIA — construído inteiramente do zero: tokenizer, arquitetura Mixture-of-Experts, treinamento e benchmark, tudo em PyTorch puro. Feito para atendimento e vendas em português.
sac-1 · python generate.py
cliente: meu pedido nao chegou e ja passou do prazo
sac-1: sinto muito pelo atraso ! pode me informar o numero do pedido para eu verificar ?
cliente: ola , quero saber o preco
sac-1: temos uma promocao especial com ate 30 por cento de desconto .
O que ele é
Um Small Language Model com arquitetura Mixture-of-Experts: cada token é roteado para 2 dos 8 experts especializados — o mesmo princípio por baixo do Mixtral. RoPE, RMSNorm, SwiGLU, weight tying e tokenizer BPE treinado do zero. Nenhuma dependência de modelo pré-treinado ou framework de LLM.
Benchmark — 904 perguntas, 8 categorias
| Categoria | Acurácia |
|---|---|
| FAQ exata | 100% |
| Conversa multi-turno | 100% |
| Objeção de vendas | 100% |
| Script de vendas | 86,5% |
| Completar frase | 85,9% |
| FAQ parafraseada | 80,5% |
| Relevância de domínio | 75% |
| Classificação de intenção | 68,4% |
| Score composto | 85,7% |
Como rodar
git clone https://huggingface.co/Raqia32/sac-1 cd sac-1 pip install torch python generate.py # chat interativo python generate.py --demo # demonstracao python benchmark_qa.py # rodar o benchmark
Limitações honestas
- Treinado em ~3.900 textos sintéticos — para produção, precisa de dados reais do seu atendimento.
- Vocabulário de 1.024 tokens: palavras fora do domínio viram
<unk>. - Contexto de 256 tokens — conversas longas são truncadas.
- É uma prova de conceito da arquitetura MoE, não um chatbot de produção.
Parâmetros12,4 M totais · ~5 M ativos/token
ArquiteturaTransformer MoE · 8 experts, top-2
Vocabulário1.024 tokens (BPE do zero)
Contexto256 tokens
Score85,7% — benchmark próprio
TreinoRTX 3060, minutos
LicençaApache-2.0 — uso comercial livre
Codigo-fonteno próprio repo ↗