Сразу честно: звучит как шутка — «вот тебе ИИ, помести его в карман!» — но это не шутка. PrismML вывела на свет Bonsai 8B, 1‑битовую модель, которая помещается в ~1,15 ГБ и честно скажет вам «я тут, я быстрый, я экономный».
Представьте маленький сад — бонсай. Тот же смысл: максимум характера в миниатюрной форме. Вес каждого параметра — лишь знак +1 или −1, а группа весов делит один коэффициент шкалирования. И всё это работает! Подробнее в их анонсе: https://prismml.com/news/bonsai-8b и в белой бумаге: https://github.com/PrismML-Eng/Bonsai-demo/blob/main/1-bit-bonsai-8b-whitepaper.pdf.
Зачем это нужно? Да потому что облачные центры — хорошо, но дорого и не всегда удобно. Мобильный агент, робот-пылесос с настоящим пониманием, корпоративные решения, где полоса памяти и энергопотребление критичны — вот реальные сценарии. На руках у пользователя — подсказка, на устройстве — приватность, а не бесконечный роуминг данных в облако.
Конкурентные показатели впечатляют: в объявлении — 14× меньше размера, 8× прироста скорости и 5× экономии энергии относительно полноточных моделей того же класса. Интеллектуальная «плотность» (интеллект на гигабайт) — тоже их идея: чем выше, тем лучше. Нравится маркетинг? Возможно. Но результат — запуск на Mac, iPhone, iPad через MLX и на Nvidia через llama.cpp CUDA — факт. Репозитории с весами под Apache‑2.0 также опубликованы: https://huggingface.co/collections/prism-ml/bonsai и https://github.com/PrismML-Eng/Bonsai-demo/.
Есть вопросы: не потеряется ли глубина рассуждений в таком ужатии? PrismML уверяет, что нет — они опираются на теорию сжатия нейросетей и годы исследований. В итоге это не только трюк с битами, а шаг к настоящему on‑device ИИ. И кто знает — может, завтра ваш телефон будет умнее, чем вы думаете.