Экономика ИИ-секретаря: как распределять запросы между моделями

ИИ-секретарь редко отвечает на один тип запросов. В течение дня ему могут поручить составить короткое письмо, найти нужную информацию в памяти, подготовить план встречи, разобрать документ или решить задачу, где важны точность и последовательное рассуждение. Использовать одну и ту же модель для всех сценариев удобно, но не всегда рационально: простые запросы начинают стоить столько же, сколько сложные.

Практичный подход — разделить обработку на уровни. Массовые задачи передавать более доступной модели, а сложные — модели с более высокой стоимостью и возможностями. В результате пользователь получает единый интерфейс, а расходы зависят от реальной сложности работы.

Из чего складывается стоимость

Проток списывает оплату по факту за каждый запрос. Цена зависит от количества входных и выходных токенов: отдельно учитывается текст, который модель получает, и текст, который она генерирует.

На дату публикации в котировках Протока доступны, в частности, такие варианты:

• GPT-5.6 Terra — 7,58 ₽ за 1 млн входных токенов и 45,45 ₽ за 1 млн выходных;
• GPT-6 Sol — 13,60 ₽ за 1 млн входных токенов и 67,98 ₽ за 1 млн выходных.

Даже при невысокой цене итог зависит от контекста. Если к каждому сообщению прикладывать длинную историю диалога, инструкции, результаты поиска и записи памяти, входных токенов становится значительно больше, чем в коротком вопросе.

Для предварительной оценки можно использовать простую формулу:

стоимость запроса =
(входные токены / 1 000 000 × цена входа) +
(выходные токены / 1 000 000 × цена выхода)

Например, запрос с 3000 входных и 800 выходных токенов к GPT-5.6 Terra на дату публикации обойдётся примерно в 0,059 ₽:

3000 / 1 000 000 × 7,58 ₽ = 0,02274 ₽
800 / 1 000 000 × 45,45 ₽ = 0,03636 ₽
итого: 0,0591 ₽

Запрос к GPT-6 Sol с теми же объёмами будет стоить около 0,095 ₽. Разница на одном сообщении небольшая, но при тысячах обращений и длинном контексте она становится заметной.

Почему одной модели недостаточно

В типичном ИИ-секретаре можно выделить несколько классов задач:

1. короткие ответы на вопросы;
2. классификация намерения пользователя;
3. извлечение фактов и дат;
4. поиск по памяти;
5. подготовка текста по заданному шаблону;
6. сложное планирование и работа с неоднозначными инструкциями.

Первые четыре класса часто не требуют максимальной глубины рассуждения. Для них важнее стабильный формат ответа, низкая задержка и предсказуемая цена. Сложное планирование, проверку нескольких условий и подготовку важного документа разумно отправлять на более мощную модель.

Такой маршрутизатор можно представить как диспетчера. Сначала он определяет тип задачи, затем выбирает модель, добавляет необходимый контекст и проверяет результат. Пользователь при этом не обязан знать, какая модель работала над конкретным сообщением.

Базовый сценарий маршрутизации

Упрощённая логика может выглядеть так:

from openai import OpenAI

client = OpenAI(
    api_key="",
    base_url="https://dualchat.pro/v1"
)

def choose_model(task: str) -> str:
    complex_markers = [
        "сравни варианты",
        "составь план",
        "проанализируй документ",
        "учти все ограничения",
    ]
    if any(marker in task.lower() for marker in complex_markers):
        return "gpt-6-sol"
    return "gpt-5.6-terra"

def ask(task: str):
    model = choose_model(task)
    return client.chat.completions.create(
        model=model,
        messages=[
            {"role": "system", "content": "Ты ИИ-секретарь. Отвечай кратко и по делу."},
            {"role": "user", "content": task},
        ],
    )

В примере model — это slug модели латиницей, а не её отображаемое название. Ключ вида sk-dc-… создаётся в кабинете Протока в разделе «Ключи». Для OpenAI-совместимых клиентов используется адрес https://dualchat.pro/v1; тот же адрес подходит для Anthropic SDK.

В рабочей системе вместо поиска отдельных слов лучше учитывать структуру запроса. Полезными признаками будут длина контекста, наличие нескольких объектов для сравнения, необходимость строгого формата, цена ошибки и требование к инструментам. Маршрутизация по одному ключевому слову может давать сбои, поэтому её стоит дополнять правилами и журналом решений.

Экономия начинается с контекста

Выбор модели — только часть оптимизации. На стоимость также влияют:

• размер истории диалога;
• количество найденных фрагментов памяти;
• повторяющиеся системные инструкции;
• длина ответа;
• количество повторных попыток после ошибки.

Если секретарю каждый раз передавать всю историю, контекст быстро разрастается. Вместо этого можно хранить факты отдельно: имя пользователя, предпочтения, текущие проекты, важные даты и последние решения. При новом запросе система извлекает только релевантные записи.

Для семантического поиска используются эмбеддинги. Проток поддерживает эмбеддинги, а также кэширование промптов. Кэширование можно использовать для неизменной части инструкций в подходящих сценариях. Память при этом должна быть ограниченной: лишние и устаревшие записи ухудшают качество ответа так же, как и слишком короткий контекст.

Как контролировать качество

Дешёвая модель не должна автоматически получать все запросы. Нужны проверки:

• обязательные поля в ответе;
• допустимый формат даты и времени;
• запрет на выдуманные действия;
• подтверждение перед отправкой сообщения или изменением данных;
• повторная проверка сложных решений.

Для чувствительных операций можно использовать двухэтапную схему. Первая модель готовит черновик, вторая проверяет соответствие правилам. Иногда выгоднее не переключать весь запрос на дорогую модель, а передавать ей только компактный результат первого этапа.

Отдельно стоит измерять не только среднюю цену, но и распределение расходов. Несколько процентов сложных запросов могут занимать большую часть бюджета, если на них приходится длинный контекст и большой ответ. Поэтому в журнале полезно хранить модель, число входных и выходных токенов, тип задачи, статус результата и факт повторной попытки.

Практическая схема для ИИ-секретаря

Рабочий конвейер может состоять из пяти шагов:

1. принять сообщение пользователя;
2. определить намерение и риск операции;
3. найти только нужные записи памяти;
4. выбрать модель по сложности;
5. проверить ответ перед показом или выполнением действия.

Короткий вопрос о статусе задачи можно направить в GPT-5.6 Terra. Запрос с несколькими ограничениями, сравнением вариантов или подготовкой подробного плана — в GPT-6 Sol. На дату публикации обе модели доступны в котировках Протока с оплатой в рублях по факту использования.

Такой подход масштабируется и на другие функции: изображения, аудио, видео и дополнительные этапы обработки. Важно заранее определить, где нужна максимальная точность, а где достаточно быстрого структурированного ответа.

Вывод

Экономичный ИИ-секретарь — это не одна «самая умная» модель, подключённая ко всем задачам. Это система маршрутизации, памяти, контроля контекста и проверки результата. Недорогая модель закрывает регулярные операции, более мощная подключается там, где цена ошибки выше стоимости дополнительного рассуждения.

В Протоке можно сравнить актуальные котировки моделей, подключить совместимый API и оплачивать только фактическое использование. Посмотрите модели и цены на https://dualchat.pro/models?utm_source=blog&utm_medium=article&utm_campaign=ekonomika-ii-sekretarya-marshrutizaciya-modeley, изучите документацию на https://dualchat.pro/docs?utm_source=blog&utm_medium=article&utm_campaign=ekonomika-ii-sekretarya-marshrutizaciya-modeley и попробуйте Проток на https://dualchat.pro?utm_source=blog&utm_medium=article&utm_campaign=ekonomika-ii-sekretarya-marshrutizaciya-modeley.