Яндекс разработал опенсорс-проект для экономии затрат на внедрение нейросетей

Представитель команды исследователей Yandex Research Владимир Малиновский разработал опенсорс-проект (проект с открытым исходным кодом), который позволит сократить расходы на внедрение искусственного интеллекта.

Сервис основан на базе большой языковой модели, насчитывающей 8 миллиардов параметров. Запустить нейросеть можно на ПК или мобильном устройстве, используя любой браузер. Данный метод позволяет сократить затраты компаний на вычислительные мощности и сделать разработку и применение больших языковых моделей дешевле. Исходный код проекта опубликован на GitHub в свободном доступе.

Исследователь применил способ сжатия нейросетей AQLM, который является совместной разработкой команды Yandex Research и специалистов университетов ISTA (Австрия) и KAUST (Саудовская Аравия). Новая технология позволила отказаться от мощных графических процессоров и перенести все вычисления на устройство.

Код написан на языке программирования Rust и может быть запущен на любом языке внутри браузера. Сжатие модели осуществляется комбинированным методом: уменьшение размера модели в 6-8 раз, ускорение работы и исправление ошибок, которые могут возникнуть при сжатии. Например, модель Llama3.1-8B при сжатии в 6 раз и размере 2,5 ГБ, сохранила 80% качества ответов от первоначальной версии.

К слову, благодаря разработкам команды исследователей Yandex Research, Яндекс стал одной из ведущих технологических компаний по машинному обучению больших языковых моделей.