AI-агенты для профессиональной разработки: harness, evals и новый SDLC

Агент без явных правил пишет так, как выглядит большинство кода в его обучающих данных — как скрипты и туториалы: без таймаутов, ретраев, идемпотентности и мыслей о нагрузке. На демо незаметно, в проде — каскадные отказы и падение RPS на два порядка. Лечится это harness'ом (обвязкой, которая делает агента предсказуемым) и evals (проверками, которые это ловят), а не «промптом помощнее».

Два дня офлайн-практики. Главная идея — harness и evals как переносимый шаблон под любой стек плюс конкретная практика: участник собирает обвязку на уровне директив (что обязательно, какие паттерны применять) с плейсхолдерами под свою экосистему и тут же видит, как тот же подход выглядит в конкретике и насколько по-разному ведёт себя агент с шаблонными и с заточенными правилами.

Алексей Жиряков ведёт инженерную линию (окружение, проект, сборка harness, работа агентом на реальных задачах), Алексей Рыбак — линию SDLC → AI SDLC (что важнее и сложнее, что проще, как поручить агенту собрать обвязку самому).

Уносишь и переносимый каркас, в который у себя вставишь свою специфику, и рабочее место под ключ — плюс нагрузочный eval-гейт, цифры вклада агента и понимание, где агент справляется сам, а где его нужно направлять.

1. Шаблонный harness под любой стек — переносимые правила (agents/) и навыки (skills/) с плейсхолдерами: подставляешь названия своей экосистемы (фреймворк, ORM, тест-раннер, линтер, утилита нагрузки) и забираешь рабочую обвязку. Заполнить можно прямо на воркшопе, в том числе руками агента.
2. Конкретный Python-harness enterprise-уровня — те же правила и навыки, заточенные под конкретику: точные команды, реальные сниппеты, строгая типизация. На контрасте с шаблоном видно, что меняется в выходе агента.
3. Шаблонные и конкретные evals — гейт качества (линт / типы / тесты / безопасность), нагрузочный гейт фичи, метрики вклада, проверка «без правил vs с правилами».
4. Понимание AI SDLC — что с агентами становится важнее и сложнее (спеки, тесты трёх типов, разбор инцидентов) и что упрощается (деплой); как заставить агента помочь собрать саму обвязку.
5. Enterprise-слой правил — паттерны отказоустойчивости и производительности (таймауты, ретраи с backoff, идемпотентность, circuit breaker, backpressure, горячий путь без O(N)) — каждый с объяснением, зачем он нужен и что ломается без него.
6. Нагрузочное тестирование руками агента — поиск узкого места и рост RPS в десятки раз на живом кейсе.
7. Выбор «модель под задачу» через OpenRouter — батлы и cross-review, экономика цена/качество.
8. Метрики вклада агента — [agent] / [assisted] / [manual], отчёт по коммитам для команды и руководства.
9. Оркестрация субагентов, слоями — базовый слой осваивается точно: отдельный read-only Reviewer + последовательный пайплайн Coder → Reviewer → Summarizer под оркестратором. Следующие слои (модель под роль, fan-out ревьюеров, защита от каскада галлюцинаций, наблюдаемость) — шаг за шагом, насколько успеем.

• Настройка AI-агента и выбор LLM под задачу через OpenRouter
• Построение переносимого агентного harness (правила + навыки) под свой стек
• Кодификация паттернов отказоустойчивости и highload в правилах агента
• Автоматический контроль качества (линтеры, типизация, security)
• Тесты трёх типов (unit / integration / e2e-smoke) с контролем покрытия
• Нагрузочное тестирование и оптимизация производительности с агентом
• Разбор инцидентов с агентом и постмортемы
• Code Review силами агента и измерение вклада по коммитам
• Оркестрация мультиагентных пайплайнов (Coder → Reviewer → Summarizer; fan-out ревью — продвинутый слой)

• Для кого: действующие разработчики и инженеры на любом стеке (Go, Java, Python и др.). Конкретная практика идёт на Python, но harness и evals собираются переносимым шаблоном под свою экосистему.
  • Backend-разработчики (Go / Java / Python / …) — основная аудитория.
  • Инженеры данных и ML-инженеры, которым нужен production-grade код.
  • DevOps, SRE и платформенные инженеры, выстраивающие стандарты разработки.
  • Тимлиды и техлиды, внедряющие агентов в команду и измеряющие их вклад.
• Уровень: Junior / Middle / Senior. Опыт с ИИ не обязателен — достаточно того, что участник хотя бы раз пробовал AI-ассистент. Джунам — быстрый вход в агентную разработку с готовым harness; мидлам и сеньорам — enterprise-паттерны, нагрузочные evals и перенос на свой стек.

• уверенное владение хотя бы одним языком программирования;
• базовое понимание Git и командной строки;
• ноутбук (macOS / Linux / Windows через WSL2).