Skip to content

# Pull Request: Implementação de Sistema de Logging para LLM e Transições de Agentes #30

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Open
wants to merge 1 commit into
base: main
Choose a base branch
from

Conversation

Horlando-Leao
Copy link

@Horlando-Leao Horlando-Leao commented Jun 25, 2025

Resumo

Implementação de um sistema abrangente de logging para capturar todas as interações com LLMs e transições entre agentes, facilitando o debug e análise do processamento de conversas.

Objetivo

Adicionar logs detalhados para:

  • Entradas e saídas de LLMs
  • Transições entre agentes
  • Chamadas e resultados de ferramentas
  • Verificações de guardrails
  • Início e fim de conversas

Principais Mudanças

1. Novo Módulo llm_logger.py

  • Classe LLMLogger especializada para logging de LLM
  • Métodos específicos para cada tipo de evento
  • Sanitização automática de dados sensíveis
  • Formato JSON estruturado para fácil parsing

2. Integração na API (api.py)

  • Logs de requisições e respostas LLM
  • Rastreamento de transições de agentes
  • Logs de chamadas de ferramentas
  • Verificações de guardrails

3. Logs em Ferramentas (main.py)

  • Logs de entrada e saída em todas as ferramentas
  • Rastreamento de hooks de handoff
  • Contexto completo das operações

4. Endpoints de Visualização

  • GET /logs - Visualizar últimas entradas
  • GET /logs/download - Download completo do arquivo

Benefícios

  1. Debugging: Identificação rápida de problemas no fluxo de agentes
  2. Análise: Entendimento do comportamento dos LLMs
  3. Monitoramento: Acompanhamento de performance e uso
  4. Auditoria: Rastreamento completo de conversas

Exemplo de Uso

# Testar o sistema de logging
python test_logging.py

# Visualizar logs via API
curl http://localhost:8000/logs?limit=50

Formato dos Logs

Cada entrada inclui:

  • Timestamp ISO
  • Tipo de evento
  • Agente responsável
  • ID da conversa
  • Dados relevantes (sanitizados)

Arquivos Modificados

  • llm_logger.py (novo)
  • api.py (integração)
  • main.py (logs em ferramentas)
  • test_logging.py (novo - testes)

Prints

image

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

1 participant