ИИ-помощник на собственном сервере
Роутер запросов между бесплатными облачными моделями и локальной моделью на 26 млрд параметров со зрением, которая работает на одной видеокарте домашнего ПК. Экономит платные токены и держит конфиденциальные данные внутри сервера.
- Переключает модели, когда кончаются лимиты, и возвращает сильные модели после сброса.
- Подключён к Claude как MCP-коннектор: пакетная обработка, пересказы, задачи по расписанию.
- Агенты с инструментами и управление компьютером; опасные шаги выполняются только после подтверждения.
- Распознавание речи и поиск по документам работают локально, без отправки данных в облако.
- На его основе работает почтовый бот: раскладывает письма по категориям строго по JSON-схеме и отвечает на вопросы владельца, в том числе голосовые.
- Последний прогон стенда: агентные задачи 11 из 11, ответы по JSON-схеме 20 из 20, зрение 7 из 7; локальная модель выдаёт около 60 токенов в секунду.