Опубликовано: :: Теги:

Выйти из гонки моделей

Чем дольше я работаю с агентами, тем больше меня раздражает политика ведущих вендоров в плане развития их моделей. Кажется, уже третье поколение, начиная с Opus 4.7, я думаю, что хочется зафиксировать качество и цену где-то на этом уровне и просто настроить конвейер для решения задач.

Но вендорам нужно зарабатывать деньги и выводить в плюс свои финансы, поэтому появляются новые модели, меняются токенизаторы, выводятся из эксплуатации части мощностей для старых моделей и все в таком духе. Я точно помню, что нормально генерировать релиз-ноты я научился с Claude Sonnet 4.6, но сейчас он путается даже на стадии анализа истории Git за месяц, не говоря уже о качественной суммаризации и следовании разветвленной системе правил.

Хочется строить процессы, предсказуемые как в техническом, так и в экономическом плане, чтобы было точное понимание, что и за сколько мы сможем делать через полгода при масштабировании на произвольное количество человек. Хочется не зависеть от меняющихся условий обработки данных, которые передаются куда-то за границу, и от ценовых политик, которые будут меняться только в сторону повышения.

И возникает вопрос: точно ли нам, техническим писателям, для всех задач нужны самые мощные модели? Нельзя ли подойти иначе к внедрению агентов и перестать воспринимать их в роли технического писателя с кремниевыми мозгами, решающего наши задачи в тех же условиях, что и мы, а вместо этого перестроить процессы, в которых они используются? В таком случае можно было бы отказаться от автоматизации роли и начать автоматизировать отдельные операции с соответствующим снижением требований к моделям, вплоть до возможности в будущем использовать self-hosting.

В последние месяцы я активно пытаюсь для себя ответить на этот вопрос, опираясь на опыт коллег из других команд, например, про организацию поиска по всей внутренней документации Яндекса. Я подумал, что если с помощью грамотной обвязки и YandexGPT на тот момент у коллег получилось построить поиск по корпусу документов, который включает в себя сотни гигабайт текста, то у меня тоже должно получиться.

И в общем и целом действительно кое-какой результат есть. В прототипе системы, который я построил на связке из детерминированных скриптов и двух агентских стадий, я смог научиться стабильно получать решение простейших задач в неинтерактивном режиме, используя публично доступную в нашем облаке DeepSeek v4 Flash. Полный цикл обходится мне примерно в 30 рублей из-за невероятно низкой стоимости самой модели и эффективного кэширования.

О чем говорит этот опыт? О том, что задачи, лежащие за скоупом разработки, могут быть автоматизированы даже такой слабой моделью, не предназначенной для длинных и сложных размышлений. Это не решение для продакшена, все нужно будет переписывать нормально и использовать другие модели, а основной массив исследовательских и ad-hoc задач так и будет требовать фронтирных моделей или китайцев последних поколений, развернутых на чужих мощностях с работой в интерактивном режиме. Но главный вывод для себя я сделал — стабильный результат для наших задач достижим, а выход из зависимости от ведущих западных вендоров возможен, хоть и потребует совсем иного подхода как к процессам в организации, так и к подготовке контекста.