MODULO 2.5 - IMPLEMENTACAO

Otimizacao e Monitoramento

Metricas, ajuste fino de prompts e ciclo de melhoria continua

4
Metricas-chave
95%
Meta de Precisao
PDCA
Ciclo Continuo
📊

Metricas Essenciais

Voce nao pode melhorar o que nao mede

Para otimizar seu AI Workflow, voce precisa medir 4 metricas fundamentais que vao guiar suas decisoes de ajuste e investimento.

Taxa de Acerto

% de classificacoes corretas

Meta: 90%+

Tempo de Processamento

Segundos do trigger a acao

Meta: <10s

Custo por Execucao

Tokens + infra por item

Meta: <$0.01

Taxa de Escalacao

% enviado para humano

Meta: <10%
🎯

Medindo Taxa de Acerto

A metrica mais importante

Como medir:

  1. 1. Pegue uma amostra de 100+ classificacoes recentes
  2. 2. Revise manualmente cada uma (ou use spot-check de 20%)
  3. 3. Marque corretas vs incorretas
  4. 4. Calcule: (corretas / total) × 100

90%+ Excelente

Workflow maduro, pronto para escalar. Foco em custos e velocidade.

80-89% Bom

Funciona mas precisa de ajustes. Analise erros frequentes.

70-79% Regular

Prompt precisa de revisao seria. Adicione mais exemplos.

<70% Ruim

Pare e revise completamente. Pode precisar de novas categorias.

Dica:

Crie uma planilha de tracking. Registre: data, email original, classificacao da IA, classificacao correta, tipo de erro. Isso vai guiar suas melhorias.

📝

Ajuste Fino de Prompts

A alavanca mais poderosa

1. Analise os erros frequentes

Agrupe os erros por tipo. Perguntas a fazer:

  • ? Quais categorias sao mais confundidas entre si?
  • ? Ha palavras-chave que estao confundindo a IA?
  • ? As definicoes das categorias estao claras?

2. Adicione exemplos (few-shot)

Inclua 2-3 exemplos de cada categoria no prompt:

Exemplos:

"Nao consigo fazer login" → suporte_tecnico

"Quanto custa o plano pro?" → comercial

"Quero cancelar" → cancelamento

3. Refine as definicoes

Se duas categorias estao sendo confundidas, deixe a diferenca mais explicita:

Antes: "comercial: assuntos de vendas"

Depois: "comercial: APENAS duvidas sobre precos, planos e upgrade. NAO inclui problemas tecnicos mesmo que mencionem planos."

🧪

A/B Testing de Prompts

Decisoes baseadas em dados

Como fazer A/B test:

  1. 1. Crie duas versoes do prompt (A = atual, B = novo)
  2. 2. Separe um conjunto de teste (50+ emails reais)
  3. 3. Execute ambos prompts nos mesmos emails
  4. 4. Compare taxa de acerto de cada versao
  5. 5. Implemente o vencedor em producao

Importante:

Mude apenas uma coisa por vez. Se mudar varias coisas, voce nao sabera qual causou a melhoria (ou piora).

🔍

Logs e Debugging

Encontre problemas rapidamente

O que logar em cada execucao:

  • ✓ Timestamp de inicio e fim
  • ✓ Input enviado para a IA
  • ✓ Output da IA (JSON completo)
  • ✓ Categoria e confianca
  • ✓ Rota escolhida
  • ✓ Acoes executadas
  • ✓ Erros (se houver)
  • ✓ Tokens consumidos

Onde armazenar:

  • • Google Sheets (simples)
  • • Airtable (visual)
  • • Banco de dados (escala)
  • • Logs do n8n (basico)

Por quanto tempo:

  • • Minimo: 30 dias
  • • Recomendado: 90 dias
  • • Erros: 1 ano
  • • Agregados: Sempre
💰

Otimizacao de Custos

Mais eficiencia, menos gastos

1.

Use modelos menores

Para classificacao simples, GPT-4o-mini ou Claude Haiku funcionam tao bem quanto modelos maiores por uma fracao do custo.

2.

Pre-filtre com regras

Use regras simples para casos obvios antes de chamar a IA. Se email contem "unsubscribe", e spam - nao precisa de IA.

3.

Limite o input

Nao envie o email inteiro se 500 caracteres sao suficientes. Menos tokens = menos custo.

4.

Cache respostas similares

Emails muito parecidos podem usar classificacao em cache ao inves de chamar a IA novamente.

Calculadora de custos:

1.000 emails/dia

~$3/mes

10.000 emails/dia

~$30/mes

100.000 emails/dia

~$300/mes

Estimativas usando GPT-4o-mini, ~500 tokens/email

🔄

Ciclo de Melhoria Continua

PDCA para AI Workflows

P - Plan (Planejar)

  • • Defina meta de precisao
  • • Identifique areas de melhoria
  • • Planeje ajustes no prompt

D - Do (Executar)

  • • Implemente as mudancas
  • • Teste em ambiente controlado
  • • Documente alteracoes

C - Check (Verificar)

  • • Meca os resultados
  • • Compare com baseline
  • • Analise desvios

A - Act (Agir)

  • • Padronize o que funcionou
  • • Corrija o que nao funcionou
  • • Reinicie o ciclo

Frequencia recomendada:

Diario: Monitorar erros
Semanal: Revisar metricas
Mensal: Ajustar prompts
Trimestral: Revisar categorias
🎉

Parabens!

Voce completou a Trilha de Implementacao

O que voce aprendeu:

  • ✓ Conceitos de AI Workflows
  • ✓ Classificacao inteligente
  • ✓ Construir workflows do zero
  • ✓ Roteamento e acoes
  • ✓ Otimizacao e monitoramento
  • ✓ Melhoria continua

Pronto para o proximo nivel?

Comecar Trilha 3: Maestria

Resumo do Modulo

✓ 4 metricas essenciais: acerto, tempo, custo, escalacao
✓ Ajuste prompts com base em analise de erros frequentes
✓ Use A/B testing para validar mudancas
✓ Log tudo para debugging e auditoria
✓ Aplique PDCA para melhoria continua

Trilha Concluida!

Agora voce sabe construir e otimizar AI Workflows

Anterior: Roteamento Trilha 3: Maestria