Thumbs-down от пользователя

Все остальные метрики (eval, judge-LLM, latency) — суррогаты. Реальный thumbs-down от живого человека — золото. Не ждите дайджеста раз в неделю — шлите push сразу.

@app.post("/api/feedback")
def feedback(req):
    if req.thumb == "down":
        push(
            "👎 Negative feedback",
            f"User: {req.user_id}\n"
            f"Q: {req.question[:200]}\n"
            f"A: {req.answer[:200]}\n"
            f"Comment: {req.comment[:200]}\n\n"
            f"Trace: https://your-app/admin/sessions/{req.session_id}",
            priority=7,
        )
    db.save_feedback(req)

def push(t, m, p):
    requests.post(f"{os.environ['NOTIFLY_URL']}/message",
                  params={"token": os.environ["NOTIFLY_TOKEN"]},
                  json={"title": t, "message": m, "priority": p}, timeout=5)

В трафиковом проекте thumbs-down может быть много — добавьте простой rate-limit (1 алёрт в 5 мин + дайджест числа), чтобы не утопить канал. В малом — не надо, каждый — ценный.

Thumbs-down от пользователя

Связанные рецепты