Уведомления для AI-агентов и LLM-приложений

В соло-разработке с ИИ вы делаете работу втроём: вы, AI-ассистент в IDE и автономные агенты, которые что-то перебирают, пока вы переключаетесь на другую задачу. У такого режима появляется свой набор «слепых зон»:

• Долгие автономные задачи — агент полчаса разбирается с миграцией БД, и не хочется проверять терминал каждые 30 секунд.
• Внешние зависимости — LLM API, vector-БД, embeddings-сервис: их статус меняется без предупреждения, а у вас нет SRE-команды.
• Стоимость — токенов сжигается много, легко потерять контроль над счётом.
• Качество модели — релиз новой версии модели может сломать ваш пайплайн ровно ночью.
• MCP-инструменты — если ваш AI ходит в свой MCP-сервер, его падение выглядит как «модель тупит», а не как алёрт.

Notifly закрывает всё это в несколько строк: heartbeat-ы, активные мониторы, веб-хуки и собственные cloud-функции для синтетических проверок шлют push в ваше устройство ровно тогда, когда нужно вмешаться.

С чего начать

1. Нужен human-in-the-loop — агент задаёт вопрос с кнопками «approve / deny» через /ask и ждёт, а вы отвечаете прямо из уведомления. Свой сервер не нужен: в код агента добавляется HTTP-запрос (пример на Python готов).
2. Завершение долгой задачи AI-агента — скопируйте bash-обёртку agent-run и запускайте агента через неё: push придёт, когда он закончит, успешно или нет.
3. Зависший агент / loop — агент шлёт heartbeat, а если пинги прекратились, Notifly сам напишет. Нужна одна строка с запросом в цикле агента.
4. Доступность LLM-провайдеров — активный монитор на status-страницу или API провайдера. Код не нужен, монитор создаётся в админке.
5. Расходы на LLM API — считать расход в своём коде или, без кода, переслать письма биллинга провайдера в Email Inbox.

Готовые рецепты

Сценарий	Что закрывает
Расходы на LLM API	Превышение бюджета на токенах
Доступность LLM-провайдеров	OpenAI/Anthropic/etc. не отвечают, 5xx, rate limits
Деградация latency моделей	Внезапное «модель стала медленнее»
Завершение долгой задачи AI-агента	«Агент закончил рефакторинг — иди ревьюить»
Зависший агент / loop	Heartbeat-защита от тихих зависаний
Нужен human-in-the-loop	Агент поставил задачу на паузу — нужен ваш approve
Vector DB / RAG-инфраструктура	Qdrant/Pinecone/Weaviate легли
Просадка eval / качества модели	Регрессия после смены промпта или модели
Сработал safety / prompt injection	Подозрительный пользовательский ввод
Здоровье MCP-сервера	Свой/сторонний MCP перестал отвечать
Своя cloud-функция integrity-проверки	Серверный «синтетический пользователь», который шлёт алёрт при поломке

Дополнительные рецепты

AI-агенты

• Approve завис и протух
• Отчёт планового (ночного) агента
• Агент долбится в падающий tool
• Таймаут tool-call у агента
• Дедлок мульти-агентной оркестрации
• Контекст близок к лимиту
• Runaway-стоимость агента за один запуск
• Browser-агент заблокирован (CAPTCHA / 403)
• Агент тронул защищённые файлы / git
• Утренний дайджест
• Pomodoro / focus-mode из терминала

Качество ответов

• Всплеск галлюцинаций
• Thumbs-down от пользователя
• Падение hit-rate prompt-cache
• Дрейф данных в датасете
• Всплеск отказов модели («I can’t help with that»)
• Парс-фейлы JSON structured-output
• Пустые и обрезанные ответы
• Повторы и зацикливание в генерации
• Ответ не на том языке
• RAG-ответ без источников
• Токсичный вывод приложения
• Ночной eval завершён — скоркарта

RAG и данные

• Смена версии embeddings
• Schema-drift JSON-ответа
• Переиндексация векторного индекса завершена
• Пустой RAG-ретривал (0 чанков)
• Сбои ингеста документов в базу знаний
• Устаревший индекс знаний
• Дрейф чанкинга и конфига индекса

Доступность и задержки

• Cold-start serverless
• Превышение SLO p95
• Аномалия трафика
• Очередь LLM-задач растёт
• Rate-limit 429 от провайдера
• Залипание стриминга токенов (TTFT)
• Сработал fallback на резервную модель
• Failover региона LLM-эндпоинта
• Обрыв realtime/voice websocket
• Растёт очередь inference-сервера

Стоимость и квоты

• Token-квоты модели
• Стоимость одного запроса
• Квоты voice API (TTS / STT)
• Кончился free-tier провайдера
• Batch API-джоба завершилась
• Всплеск стоимости embeddings
• Расходы на инфраструктуру (YC / AWS)

GPU, обучение и модели

• Утилизация GPU (простой или перегрузка)
• Недоиспользование reserved-мощности
• CUDA out-of-memory при обучении/инференсе
• Чекпойнт обучения / прогресс тренировки
• Fine-tune завершён
• Скачивание весов модели завершено/упало
• Вывод модели из эксплуатации (deprecation)
• Вышла новая модель — стоит побенчить

Безопасность

• Секреты в логах LLM
• Новая CVE в зависимостях
• Модерация при генерации картинок
• Истечение API-ключей и лицензий
• Очередь модерации переполнена
• PII в промпте или ответе
• Всплеск использования API-ключа (утечка)
• Запрос заблокирован content-policy провайдера
• Data exfiltration через tool-call

Разработка и деплой

• AI делает PR-review
• Flaky-тесты найдены
• Ошибки в канарейке деплоя
• Прогресс долгой миграции БД
• Шторм вебхук-ретраев
• Утечка памяти в serverless
• Crash мобильного клиента

Почему именно push, а не email

LLM-инциденты часто короткие и шумные: 10 минут 500-х → починилось. Email-алёрты приходят пачками с задержкой и тонут в почте; push-уведомление на телефон через Notifly — мгновенное, бесплатное и его легко молча дисмиссить, если вы видите, что инцидент уже прошёл сам. А если важный push так и остался непрочитанным, эскалация дошлёт его в Telegram, SMS или звонком, а тихие часы не дадут мелочи будить вас ночью.

Все рецепты в этом разделе используют один и тот же базовый стек:

• POST /message — ad-hoc алёрты из кода;
• Heartbeat — «агент жив»;
• Активные мониторы — внешние HTTP/TCP/TLS-проверки;
• Вебхуки — приём событий из биллинга/CI;
• Email Inbox — алёрты от провайдеров, у которых нет webhooks;
• собственные cloud-функции на YC — для своих проверок.