Um desabafo e o resumo dos meus estudos sobre treinamento de IA no Brasil
"Eu só queria construir com as minhas próprias mãos — nem que fosse só brincando."
Antes de tudo: quem escreve isso
Eu sou só um pesquisador/programador que gosta de estudar o que me cativa. Quem já acompanha meus artigos aqui no TabNews sabe que eu tento sempre trazer algo minimamente apresentável — e essa palavra, apresentável, é meio que a minha cruz. Sempre tive o péssimo hábito de travar meus projetos por achar que não estão bons o suficiente nem para mostrar. Muita coisa boa morreu na minha cabeça por causa disso.
Tenho 24 anos. Comecei na programação web há uns 6 anos, mas antes disso já mexia com servidores de Minecraft e jogos na Unity. Se você quiser me conhecer melhor, escrevi um relato mais pessoal aqui: apenas-um-relato-mrj.
Resumindo o essencial: há alguns meses eu consegui treinar um LLM de verdade — com sucesso superficial, é verdade, e usando uma base estrangeira como ponto de partida. Mas meu objetivo nunca foi só "ter um modelo". Foi aprender e desenvolver com as minhas mãos, mesmo que seja só brincando com IA e vibecode.
Eu tenho um caderno mental (e alguns arquivos soltos) de ideias aleatórias que anoto e deixo lá. Quando travo, eu puxo uma delas. Este artigo é o resumo dessas ideias — algumas viraram código que rodou, outras são conceitos que poderiam existir se eu tivesse tempo e dinheiro. Vou explicar cada uma, com fluxograma e uma tabela comparativa no final.
O fio condutor: e se cada IA tivesse uma arquitetura própria?
A moda hoje é escalar o mesmo transformer até o infinito. Eu fico fascinado com a pergunta oposta: e se a arquitetura em si fosse diferente? E se, em vez de mais do mesmo, a gente misturasse tipos diferentes de cérebro? É esse fio que costura todos os projetos abaixo.
1. 🧠 Think-Vetor — a micro-LLM que "pensa" no espaço latente e não erra conta
O que é: um micro-LLM de 0.5B de parâmetros que faz o raciocínio dentro do espaço latente (nos embeddings ocultos), em vez de "pensar em voz alta" cuspindo tokens de Chain-of-Thought. O loop recorrente tem parada dinâmica (PonderNet — para quando já "pensou o suficiente") e é estabilizado por um bloco de energia de Hopfield acoplado à dinâmica de Langevin (relaxa as ativações em atratores estáveis).
A sacada (TV-DSL): para matemática ser 100% infalível, o modelo não tenta adivinhar os dígitos. Ele escreve uma instrução simbólica dentro do pensamento — tipo [TV-DSL: multiply(432, 78)] — um coprocessador determinístico (AST do Python) intercepta, executa o cálculo exato, e reinjeta o resultado (-> [RESULT: 33696]) de volta no espaço cognitivo. A LLM vira a "CPU orquestradora", não a calculadora.
Prompt: "Quanto é 432 × 78?"
│
▼
┌─────────────────────────────────────┐
│ LLM 0.5B (Qwen2.5 + LoRA) │
│ raciocínio LATENTE (loop recorrente)│
│ PonderNet: para quando convergiu │
│ Hopfield + Langevin: estabiliza │
└───────────────┬─────────────────────┘
│ detecta intenção matemática
▼
escreve [TV-DSL: multiply(432, 78)]
│
▼
┌─────────────────────────────────────┐
│ Coprocessador AST (Python) EXATO │ → [RESULT: 33696]
└───────────────┬─────────────────────┘
│ reinjeta no espaço latente
▼
Resposta final: "33.696" (sem alucinação)
Por que isso importa: um modelo de 0.5B bateu 83–100% no GSM8K (o benchmark-padrão de matemática) — superando modelos comerciais de até 4× o tamanho (Qwen 1.5B, Gemma-2 2B ficam em ~68%). Não é mágica: é desacoplamento — delegar o cálculo pesado a um executor exato em vez de estimá-lo probabilisticamente. Tem Space público no Hugging Face (CromIA/think-vetor-chat).
2. 🧬 CROM-IA-V1-DNA — a semente
O que é: o meu primeiro modelo público de verdade (CromIA/CROM-IA-V1-DNA) — o "DNA", a gênese de onde tudo cresceu. A linha de pesquisa por trás dele (crom-pesquisa-ia00) mira modelos cognitivos híbridos e leves: neuro-simbólicos, micro-escala (0.5B–1.5B), pensados para rodar rápido em computador comum, combinando flexibilidade neural com exatidão determinística (herdando o TV-DSL, memória vetorial e experimentos com atenção linear tipo Mamba).
┌──────────────────────────────────────────────┐
│ CROM-IA-V1-DNA (a semente) │
│ Híbrido neuro-simbólico, micro-escala, local │
│ │
│ Neural (flexível) + Determinístico (exato) │
│ Memória vetorial + Atenção linear (Mamba) │
└──────────────────────────────────────────────┘
│
└──► deu origem ao Think-Vetor e à família Quimera
Por que existe: era eu testando se dava para ter "raciocínio de gente grande" numa máquina pequena. O nome DNA é isso — vem da ideia de em vez de gerar tokens de palavras, e gerasse token de um dna que seria uma frase maior, algo como: output -> #@1dbrsail -> descriptografa o token -> O brasil é um País Soberano.
3. 🐉 CROM-Quimera (MoA) — Mistura de Arquiteturas, não de experts iguais
O que é: um LLM de 1.1B com a ideia que mais me anima: MoA (Mixture of Architectures). No MoE clássico (Mixtral, etc.), todos os "experts" são MLPs idênticas. No MoA, cada expert é uma arquitetura diferente, especializada num tipo de processamento:
- Backbone compartilhado (390M) — entende a linguagem geral.
- Expert 0 🏃 Rápido — MLP de 2 camadas, para tokens triviais.
- Expert 1 🧠 Profundo — Transformer de 8 camadas, para raciocínio.
- Expert 2 💻 Código — Transformer de 4 camadas, para sintaxe.
- Expert 3 ⚡ Difusão — um denoiser que gera blocos de tokens (inspirado em difusão), não autorregressivo.
- Router — escolhe os 2 melhores experts por token (top-2), antes de eles rodarem.
Token → ┌──────────────────────────┐
│ Backbone (390M, comum) │
└───────────┬──────────────┘
▼
┌────────────┐
│ ROUTER │ decide ANTES: top-2 de 4
└─────┬──────┘
┌───────┬────┴────┬────────┐
▼ ▼ ▼ ▼
🏃 Fast 🧠 Deep 💻 Code ⚡ Difusão
(MLP 2L) (Trf 8L) (Trf 4L) (denoiser) ← arquiteturas DIFERENTES
└───────┴────┬────┴────────┘
▼
combinação ponderada (softmax) → LM Head → próximo token
A saga real (o porquê deste artigo ter começado): esse foi o projeto onde eu mais apanhei. Várias versões (v2.4.0 a v2.4.4) colapsavam — o router degenerava e o modelo cuspia lixo numérico tipo 381,6* 8: 31441012)^3. Depois de muita auditoria, achamos 3 bugs-raiz:
- O Expert 3 carregava o arquivo errado → ficava com pesos aleatórios em toda rodada.
- Uma "gambiarra" processava cada token isolado (
seq_len=1), matando a atenção dos experts. - A classificação de domínio colapsava (a palavra "você" rotulava 100% dos dados no mesmo balde).
Corrigidos os três, rodei o SFT completo (8000 passos, ~$1) e a bateria de testes saiu de 0% (sempre colapsava) para 78%: o router finalmente distribui entre os 4 experts sem colapsar, e a memória multi-turno funciona (ele lembra o nome do usuário depois de uma distração). O que ainda falha (prosa embolada, identidade) não é a arquitetura — é a base subtreinada (foi pré-treinada com só ~94M tokens únicos, ~85× menos do que o ideal). Ou seja: a arquitetura está provada; falta dado.
4. 🐲 Quimera-Hydra — todas as cabeças geram, o árbitro decide depois
O que é: a evolução natural da crítica ao MoA. No Quimera, o Router "adivinha" quais experts são bons antes de vê-los trabalhar — e se ele erra, o modelo gera lixo mesmo tendo a resposta certa em outro expert. A Hydra (a serpente de várias cabeças) inverte isso: todos os 4 experts processam cada token, e um árbitro escolhe/combina os melhores DEPOIS de ver o que cada um produziu.
Token → ┌──────────────────────────┐
│ Backbone │
└───────────┬──────────────┘
┌───────┬─────┴─────┬────────┐ TODOS geram (sem router filtrar)
▼ ▼ ▼ ▼
🏃 Fast 🧠 Deep 💻 Code ⚡ Difusão
└───────┴─────┬─────┴────────┘
▼
┌──────────────────┐
│ ÁRBITRO HYDRA │ decide DEPOIS de ver as saídas reais
│ (ensemble/voto/ │
│ confiança) │
└────────┬─────────┘
▼
token final
Estratégias de arbitragem que projetei: Weighted Ensemble (combina os logits com pesos aprendidos), Confidence-Gated (o expert mais confiante ganha o token) e Contrastive (experts que concordam ganham peso; outliers são penalizados). Custa mais compute (+19% na inferência, todos os experts rodam), mas é muito mais robusto — nunca colapsa, porque sempre vê todas as opções. O melhor: a primeira fase dá para prototipar sem re-treino, reusando os pesos que já tenho.
5. ⚡ Quimera-Synapse — plasticidade: um modelo que aprende enquanto conversa
O que é: talvez a ideia mais ambiciosa. LLMs em produção têm pesos estáticos — se você corrige o modelo ("não use essa biblioteca, use aquela"), ele esquece assim que a conversa reseta. A Synapse propõe aprendizado em tempo de execução:
- Backbone congelado (read-only na VRAM).
- Micro-LoRAs dinâmicos por sessão — adaptadores minúsculos (rank 4–8, poucos MB) que rodam em paralelo.
- Juiz Oculto (gating) — uma camada linear que ativa os adaptadores certos direto nos embeddings, sem decodificar texto.
- Sandbox RL de loop fechado — para tarefas verificáveis (código, formatação), a saída é executada e validada por um juiz determinístico (um compilador, um teste unitário). Se falha, um sinal de erro faz um backprop curtíssimo só no LoRA (99% mais barato que fine-tuning).
Backbone CONGELADO (read-only)
│
├──► Juiz Oculto (gating) ──► ativa micro-LoRAs da sessão (ΔW = B·A)
│
▼
Saída gerada
│
▼
┌──────────────────────────────┐
│ SANDBOX: executa + valida │ (compilador / testes / regex)
└───────────┬──────────────────┘
OK ✅ │ ERRO ❌
│ │ │
▼ │ ▼
consolida │ backprop CURTO só no LoRA ──► (volta e melhora)
(merge ou │
patch │
S-LoRA) ▼
Por que me empolga: é a diferença entre um modelo que é ensinado uma vez e um que aprende com o uso, sem esquecimento catastrófico e sem re-treinar tudo. Ainda é conceito — mas o mini-circuito em PyTorch já converge no sandbox.
📊 Tabela final — as arquiteturas lado a lado
| Projeto | Escala | Ideia central | Quem decide / diferencial | Estado |
|---|---|---|---|---|
| Think-Vetor | 0.5B | Raciocínio latente + delega matemática a um executor AST exato (neuro-simbólico) | O modelo planeja, o coprocessador calcula | ✅ Público · 83–100% GSM8K |
| CROM-IA-V1-DNA | micro | A semente: híbrido neuro-simbólico leve, local-first | Base genética das outras | ✅ Público (HF) |
| CROM-Quimera (MoA) | 1.1B | Mistura de arquiteturas heterogêneas (não experts iguais) | Router decide ANTES (top-2 de 4) | ✅ SFT feito · 78% · router não colapsa |
| Quimera-Hydra | 1.1B | Todos os experts geram; ensemble informado | Árbitro decide DEPOIS de ver as saídas | 💡 Conceito (prototipável sem re-treino) |
| Quimera-Synapse | ~800M+ | Plasticidade: aprende em tempo real via micro-LoRAs + sandbox RL | Gating por sessão + validador determinístico | 💡 Conceito (mini-circuito converge) |
O padrão que me move: MoA orquestrando múltiplas arquiteturas diferentes, em vez do MoE tradicional de especialistas iguais. Cada projeto é uma variação disso — ou um filho da ideia original.
O desabafo (a parte difícil de escrever)
Agora a verdade sem maquiagem.
Neste último mês, eu gastei uns $50–60(sim dolares) do meu próprio bolso nessas pesquisas. Para muita gente é pouco. Para mim já é mais do que muito. Eu me animei, passei do meu limite, e preciso ser honesto comigo mesmo sobre isso.
Eu uso a Vast.ai (e às vezes GPUs gratuitas, que me limitam por tempo). E o processo é exaustivo: você espera 8, 10 horas por um resultado, e ele falha no meio e você refaz do zero. Ou termina, e você descobre um erro de funcionamento interno bobo lá no fim. Erros que a IA até me ajuda a explicar na hora — mas na hora de aplicar a correção, ela se embola, e eu tenho que ficar lendo e editando manualmente, tentando (às vezes em vão) consertar. Foi exatamente isso que aconteceu no Quimera esta semana: instância com upload lento travando o treino, dois processos causando OOM, checkpoint perdido, refazer... e no fim deu certo, mas cada tropeço desses custa dinheiro real e horas da minha vida.
Estou pensando em dar um tempo disso. Não porque parei de gostar — eu amo isso, às vezes passo 100% do meu tempo, 24/7, mergulhado. Mas eu preciso de uma base financeira antes de me afundar de vez nesse oceano. Enquanto isso, faz mais sentido eu ficar no que é sustentável: agentes e especialização de LLMs que já existem (fine-tuning), em vez de treinar arquiteturas novas do zero — que é onde mora meu coração, mas também onde mora o custo.
Pensei em procurar faculdade ou grupos de pesquisa. Mas sinto que, se eu não puder dar 100% 24/7, não vou conseguir acompanhar — e, ironicamente, é porque eu gosto que eu às vezes dou 100%. Só que esse não é o único caminho que eu gostaria de seguir. Se for só isso, eu vou ter que ir trabalhar "lá fora" — o que é bom por um lado, mas por enquanto foge do que eu queria. E, sinceramente, acho que não tenho tanto tempo assim.
A maioria dos meus projetos está privado. E olha, eu não sei criar patente. Só deixaria privado mesmo para não perder a chance de um dia tornar tudo público e open-source — porque tenho medo de alguém patentear e privar algo que eu criei primeiro para todos e me tirar essa possibilidade de trabalhar nisso. Não é ganância; é medo de perder o direito de compartilhar.
Isto aqui é só um desabafo. Eu até pediria ajuda — mas acho que não teria a atenção necessária, nem o dinheiro necessário para trazer algo realmente útil. Porque a real é essa: para pesquisa de arquitetura séria, é extremamente necessário comprar placas de vídeo — e hoje uma placa decente custa mais de R$ 10.000(Só Pc novo que comprei po 3.000 tem video integrado - sem placa de video). Pensando de forma útil, só valeria a pena se eu já tivesse algo rentável de base — não só doações. Não para pesquisas que precisam de tempo e atenção como estas.
É isso.
Se você leu até aqui: obrigado. Se você é alguém que também constrói coisas estranhas e bonitas sozinho, no seu canto, com medo de que não sejam "boas o suficiente" — este texto é para você também. Às vezes o valor não está no projeto que funciona 100%, mas na Quimera que a gente teve coragem de montar.
— MrJ / CromIA