Высокий pass rate сам по себе не показывает, какие ошибки AI-системы стоит исправлять в первую очередь. На курсе Андрея Киселёва вы научитесь читать трейсы и группировать ошибки, а также строить синтетические датасеты для оценки качества ещё до появления пользовательского трафика. Другое название — «Оценка AI агентов». Для кого: AI / ML и Backend-инженерам Научитесь проектировать автоматические пайплайны оценки, тестировать сложных multi-step-агентов, мерить качество Retrieval (RAG) и встраивать эвалы в CI/CD — чтобы регрессии ловились до релиза, а не на проде Product-менеджерам AI-продуктов Получите инструменты для data-driven-управления качеством: связывать бизнес-метрики с метриками модели, строить таксономию ошибок и ставить инженерам прозрачные, измеримые ТЗ Tech Lead'ам и руководителям Поймёте, как выстроить процессы оценки внутри команды, выбрать стек (готовые платформы vs. in-house) и снизить затраты на ручную разметку — превратив эвалы в инструмент принятия решений Барьеры при масштабировании AI-продуктов: AI-системы ломаются не из-за моделей, а из-за отсутствия понимания качества. Вы не знаете что считать хорошим результатом, принимаете решения на глаз, отсутствует система оценки. Результаты после курса: Курс не только про эвалы, но и про навыки разработки AI в продакшне. Сейчас: данных нет, а оценивать систему нужно уже сейчас. После курса: строите синтетические датасеты с первого дня прототипа — и не ждёте живого трафика, чтобы начать измерять Сейчас: pass rate «вроде нормальный», но непонятно, что именно чинить. После курса: читаете трейсы, кластеризуете ошибки и точно знаете, какой класс проблем устранить первым Сейчас: каждый новый формат — снова с нуля думаешь, как его оценивать. После курса: один инструментарий — на текст, изображения и мульти-тёрн чат. Переносите на любую AI-систему без потерь Сейчас: стейкхолдеры не доверяют метрикам, продакты не понимают эвалы. После курса: встраиваете оценку качества в процесс команды — так, чтобы на неё опирались при принятии продуктовых решений За 5 недель соберите eval-процесс на реальных прод-кейсах. Программа: Пять сессий — пять симуляций реальных кейсов 5 сессий · 7.5 ч разговора Сессия 1. Интро и философия эвалов на простом кейсе Кейс — QnA-поиск по справке. Весь путь от продуктовой постановки до первого работающего эвала в ситуации, когда живых пользовательских данных ещё нет Сессия 2. Error analysis и почему eval-driven development — фантазия Почему нельзя один раз придумать идеальный эвал и «разрабатывать под него». Чтение трейсов, кластеризация ошибок, few-shot mining и автоподбор промптов через GEPA и DSPy Сессия 3. Мультимодальность: тот же инструментарий на генерации изображений Кейс — генерация кастомных картинок для печати на банковских картах. Рубрики безопасности, декомпозиция недопустимого контента и VLM-as-a-judge для визуального результата Сессия 4. Оценка чат-продуктов end-to-end Кейс — text2sql-ассистент с доступом к транзакционной базе пользователя. Multi-turn-оценка, симуляция пользователя через LLM, синтетические персоны и метрики сверх pass rate Сессия 5. Подведение итогов и рецепты для продакшна Финальная сессия — как на практике внедрить эвалы в команду. Технические рецепты плюс продуктовая и организационная сторона: стейкхолдеры, legal, антипаттерны Что входит в курс: 5 записей сессий с разбором 5 реальных кейсов: от QnA до мультимодальности 4 проекта в портфолио Записи и материалы Автор Андрей Киселёв Head of Product, который строил, ломал и чинил AI продукты Строил AI-продукты в продакшне: от первых RAG в маленьких командах до платформ с миллионами вызовов агентов в день Работал в Revolut и Yandex, где отвечал за внедрение AI-фич Истории и подходы из курса — то, что встречается в реальной разработке продуктов, с цифрами, ошибками и рабочими плэйбуками