TypeSafe AI · modelo System One

JEV: decisões em milissegundos

Um modelo que não escreve texto. Ele recebe um estado e perguntas tipadas e devolve escolhas, notas e probabilidades que o seu código usa direto.

Base: ByteByteGo EP227 “Top 9 Places to Use Jev” + docs.typesafe.ai

O problema

Usamos LLMs grandes para decidir coisas pequenas

Classificar, filtrar, rotear e dar nota são decisões. Pagar uma geração de texto completa por cada uma é lento e caro.

70–500 msponta a ponta

US$ 0,042por 1M tokens de entrada

grátistokens de saída

Fonte: blog TypeSafe, “Introducing System One Models and Jev”

O que é um modelo System One

Estado e perguntas tipadas entram. Valores tipados saem.

1 · Estado

{
  "ticket": "Fui cobrado duas
    vezes no pedido A-104"
}

2 · Perguntas

team:    Choice(billing,
           technical, sales)
anger:   Score(calm → furious)
refund:  Noul("pede reembolso?")

3 · Respostas

team   → billing   conf 0,85
anger  → 1,2 de 3
refund → 0,97

O nome vem do “Sistema 1” de Kahneman: o pensamento rápido e intuitivo. O treino (RLCD) busca probabilidades calibradas: quando diz 90%, deve acertar perto de 9 em 10 vezes.

As três primitivas

Choice, Score e Noul, todas na mesma chamada

Choice

Escolhe uma opção de uma lista. “Qual time atende?”

técnico

0,85

financeiro

0,15

comercial

0,00

confiança 0,78

Score

Nota numa escala ordenada. “Quão frustrado?”

calmo

0,00

frustrado

1,00

muito irritado

0,00

score 1,0 · confiança 1,0

Noul

Probabilidade de “sim”. “A mensagem é urgente?”

sim

1,00

noul 1,0

Exemplo do quick start da TypeSafe: “Estou tentando conectar o Stripe há 3 dias e a integração falha. Estou perdendo vendas.”

O princípio do ByteByteGo

Use o LLM para gerar. Use o JEV nas decisões ao redor dele.

Os 9 lugares para usar o JEV

Agrupados por onde a decisão acontece

Antes do LLM

Roteamento de modelosqual LLM atende o prompt

Guardrailsbloqueia risco antes de seguir

Dentro do agente

Gating de tool callspermissão por categoria

Decisões em tempo realloops sensíveis a latência

Depois do LLM

Avaliação de LLMnota numérica na saída

Confidence gateage conforme a certeza

Sem LLM nenhum

Triagem de inboxurgente, spam, arquivar

Rerankingordena trechos por relevância

Rotulagem em massamap-reduce em tabelas

Fonte: ByteByteGo, EP227 “Top 9 Places to Use Jev”

Cenário 1 · Roteamento de modelos

Cada prompt vai para o menor modelo que dá conta

Um Choice com três opções decide em milissegundos. Pergunta fácil não paga preço de modelo grande.

probabilidades ilustrativas

Cenários 2 e 3 · Guardrails e gating de tool calls

Barrar o perigo antes que ele chegue ao LLM ou à ferramenta

Guardrail na entrada

0,99 é o valor real medido na nossa demo

Tool calls de um agente

ler_arquivo("relatorio.pdf")permitir

enviar_email(para="todos@empresa")pedir confirmação

apagar_tabela("clientes", env="prod")negar

Um Choice classifica cada chamada numa categoria de permissão. O código decide o que cada categoria pode fazer.

Cenários 4 e 7 · Triagem de inbox e rotulagem em massa

Volume alto, custo de centavos

Cada item recebe rótulo, urgência e próxima ação. No lote, o mesmo padrão vira map-reduce sobre tabelas inteiras.

1.000 e-mailsclassificados em cerca de 1 minuto, por uns 3 centavos de dólar

Fonte: Tiago Oliveira, “Onde o JEV pode substituir um LLM em quase tudo”

Cenário 5 · Reranking

Reordenar o que a busca trouxe

A busca por palavra-chave acha candidatos. O JEV dá uma nota de relevância a cada par pergunta–trecho, e só os melhores vão para o LLM.

38% → 62%top-10 em 40 consultas jurídicas (CLERC) com reranking do JEV

Fonte: cookbook “Re-ranking” da TypeSafe · notas da lista: ilustrativas

Pergunta: “Como cancelo minha assinatura?”

Para cancelar, acesse Conta › Plano › Cancelar assinatura.

0,96

O cancelamento vale ao fim do ciclo de cobrança atual.

0,81

Você pode pausar a assinatura por até 3 meses.

0,44

Atualize o cartão de crédito em Conta › Pagamento.

0,12

Nosso app está disponível para iOS e Android.

0,03

Cenários 6 e 8 · Avaliação de LLM e decisões em tempo real

Dar nota em escala e decidir dentro de um loop

Avaliar a resposta de um LLM

Rubrica quebrada em Scores atômicos. O peso de cada um fica no código.

fiel à fonte

2,8/3

completa

2,1/3

tom adequado

3,0/3

notas ilustrativas

Loop de tempo real

A TypeSafe jogou Doom com o JEV a 10 consultas por segundo, por cerca de US$ 7/hora.

Fonte: blog TypeSafe

Cenário 9 · Confidence gate

A resposta diz o quê. A confiança diz se agir.

Confiança alta: o sistema age sozinho.
Média: pede confirmação a alguém.
Baixa: encaminha para um humano.

Os limiares são seus e ficam no código. Na nossa demo, abaixo de 0,6 vai para revisão humana.

Nosso case · Central de Atendimento com JEV

Uma mensagem, sete perguntas em paralelo, regras em código

243–384 mspor mensagem, API real

10 de 10exemplos na rota certa, em 3 execuções

~US$ 0,00003de JEV por mensagem (~676 tokens)

0,028 × 0,20US$ no lote de 10: com JEV × tudo no LLM grande*

* custo de LLM com preços de referência configurados na demo, não chamadas reais

Limites que precisamos levar a sério

Confiança alta não é garantia de acerto

Não gera texto. Para isso continua o LLM ou um template.
Escolhe com confiança entre opções erradas quando a certa não está na lista.
Funciona melhor em inglês. Na demo, as instruções ficam em inglês.
Contas, datas e contagens ficam no código, não no modelo.
Sem pesos abertos nem paper: meça a calibração nos seus próprios dados.

Teste independente com regras desconhecidas: 45% de acerto com confiança média de 0,74 (Tiago Oliveira). Docs: “Jev 1.13 jaggedness”.

Choice: “Qual é a capital da Austrália?”

Sydney

0,88

Melbourne

0,10

Perth

0,02

errado A resposta certa, Canberra, não estava entre as opções.

exemplo ilustrativo do modo de falha

Fechamento

Quando faz sentido usar o JEV

É uma decisão

Classificar, filtrar, rotear, dar nota. Não escrever.

As opções são conhecidas

Times, categorias, níveis de risco que dá para listar e descrever.

Volume ou latência importam

Milhares de itens por dia, ou uma resposta em menos de meio segundo.

Próximos passos sugeridos

Rodar a demo “Central de Atendimento” com a equipe.
Escolher um processo interno de triagem para um piloto.
Medir acerto e calibração em dados reais antes de automatizar.

JEV: decisões em milissegundos

Usamos LLMs grandes para decidir coisas pequenas

Estado e perguntas tipadas entram. Valores tipados saem.

1 · Estado

2 · Perguntas

3 · Respostas

Choice, Score e Noul, todas na mesma chamada

Choice

Score

Noul

Agrupados por onde a decisão acontece

Antes do LLM

Dentro do agente

Depois do LLM

Sem LLM nenhum

Cada prompt vai para o menor modelo que dá conta

Barrar o perigo antes que ele chegue ao LLM ou à ferramenta

Guardrail na entrada

Tool calls de um agente

Volume alto, custo de centavos

Reordenar o que a busca trouxe

Dar nota em escala e decidir dentro de um loop

Avaliar a resposta de um LLM

Loop de tempo real

A resposta diz o quê. A confiança diz se agir.

Uma mensagem, sete perguntas em paralelo, regras em código

Confiança alta não é garantia de acerto

Quando faz sentido usar o JEV

É uma decisão

As opções são conhecidas

Volume ou latência importam

Próximos passos sugeridos

Referências