Python-разработчик (AI Evaluation)

Ищем Python-разработчика в команду AI. Предстоит разрабатывать систему оценки качества AI-агентов: оценка агентских траекторий и достижения целей, управление и создание (в том числе автоматическое\автоматизированное) тестовых сценариев, автоматизировать сбор и обработку обратной связи, помогать делать агентные системы надежнее.

Задачи:

• Разрабатывать систему оценки качества AI-агентов
• Создавать тестовые сценарии и методики проверки
• Разрабатывать метрики качества
• Автоматизировать тестирование агентных систем
• Анализировать результаты и улучшать процессы контроля качества

Стек технологий:

• Python, Docker, агентные среды для разработки (Opencode и др.)

Что важно:

• Опыт коммерческой разработки на Python от 3х лет
• Опыт работы с LLM или AI-агентами
• Понимание принципов оценки качества AI-систем
• Аналитический склад мышления

Будет плюсом:

• Опыт построения AI Evaluation / LLM Evaluation
• Знание CI/CD и автоматизации тестирования

Условия:

Гибридный формат: 3 дня в офисе, остальные — удаленно.

Офис рядом с м. Тимирязевская (удобно добираться, есть парковка).

В офисе столовая, тренажерный зал.

Сделаем ДМС после испытательного срока.