LangSmith Fine-Tuning CLI: тонкая настройка агентов

LangChain представил LangSmith Fine-Tuning и smithtune, интерфейс командной строки (CLI), который помогает командам превращать траектории LangSmith в пользовательские тонко настроенные модели для своих агентов. Этот инструмент управляет всем процессом тонкой настройки из одной CLI: от создания и подготовки набора данных из траекторий LangSmith до обучения с Fireworks или Baseten и оценки с помощью LangSmith. Вы можете запускать smithtune напрямую или работать с вашим кодирующим агентом для выполнения команд и проверки результатов langchain.com.

smithtune позволяет использовать траектории агентов, хранящиеся в LangSmith, для тонкой настройки модели в едином сквозном рабочем процессе. Помимо управления обучением, CLI также обрабатывает оценку тонко настроенной модели и загружает результаты оценки в LangSmith для удобного анализа. LangChain сотрудничал с Fireworks и Baseten, чтобы создать бесшовную связь между траекториями LangSmith и созданием набора данных для тонкой настройки на обеих платформах langchain.com.

Тонкая настройка особенно полезна, когда ваше приложение выполняет повторяющиеся задачи и у вас есть примеры того, как оно должно себя вести. Следует искать последовательные паттерны, которые модель должна изучить, такие как следование рабочим процессам, использование результатов инструментов для принятия решений о дальнейших действиях и проверка своей работы. Например, в одном из тестов тонкая настройка модели Qwen-3.8-27B для обзора кода повысила F1-меру с 48,9% до 53,7%, при этом используя на 29,8% меньше вызовов модели и на 29,4% меньше запросов к инструментам. Это означает аналогичное качество обзора при меньших затратах и более быстрое время обзора для каждого PR langchain.com.

Почему это важно

Появление smithtune CLI значительно упрощает процесс тонкой настройки моделей ИИ для разработчиков, работающих с агентами. Ранее этот процесс требовал значительных усилий по подготовке данных, управлению обучением и оценке. Теперь, благодаря автоматизации этих шагов, команды могут быстрее и эффективнее улучшать производительность своих ИИ-агентов, что напрямую влияет на качество и стоимость их продуктов.

Возможность использовать реальные траектории агентов из LangSmith для обучения моделей является ключевым преимуществом. Это позволяет моделям учиться на фактическом поведении и ошибках, что приводит к более релевантной и точной тонкой настройке. Снижение количества вызовов модели и запросов к инструментам, как показано в примере с Qwen-3.8-27B, означает не только экономию средств, но и ускорение работы агентов, что критически важно для приложений, требующих высокой производительности.

Что это значит на практике

• Быстрое улучшение агентов: Используйте smithtune для итеративного улучшения ваших ИИ-агентов, быстро превращая собранные траектории в более производительные тонко настроенные модели.
• Снижение операционных расходов: Оптимизируйте использование моделей за счёт тонкой настройки, которая может значительно сократить количество вызовов к базовым моделям и инструментам, уменьшая затраты на API.
• Повышение качества автоматизации: Применяйте тонкую настройку для задач, где агенты демонстрируют повторяющиеся ошибки, чтобы научить их правильному поведению и повысить надёжность автоматизированных процессов.
• Упрощение рабочего процесса: Интегрируйте smithtune в ваш CI/CD пайплайн для автоматической тонкой настройки и оценки моделей, обеспечивая непрерывное улучшение ваших ИИ-продуктов.
• Фокус на данных: Уделяйте внимание качеству и релевантности данных, используемых для тонкой настройки. smithtune облегчает процесс, но успех по-прежнему зависит от хорошо подобранных обучающих данных.