Будет создана большая языковая модель с открытым исходным кодом

Будет создана большая языковая модель с открытым исходным кодом

Началось обучение языковой модели искусственного интеллекта с открытым исходным кодом на 176 млрд параметров от международной команды разработчиков BigScience.

Сейчас алгоритм обучают на данных 46 языков. Работа модель организована на суперкомпьютере Jean Zay французского Института развития и ресурсов в области интенсивных научных вычислений. Он построен на основе видеоускорителей Nvidia V100 и A100. Максимальная производительность установки превышает 28 петафлопс.

По словам руководителя отдела исследований Hugging Face Дау Киела, процесс обучения планируют проводить в период трех-четырех месяцев.

Разработчики создали проект для исследовательских целей. Проприетарные языковые модели компаний вроде OpenAI, Google или Microsoft демонстрируют одинаково проблемное поведение, порождая токсичную речь, предвзятость и дезинформацию, считают инженеры. Алгоритм с открытым исходным кодом поможет исследователям понять эти проблемы и исправить их, добавили они.

«Если мы заботимся о демократизации исследовательского прогресса и хотим убедиться, что весь мир может использовать эту технологию — мы должны найти решение для этого. Это именно то, чем должна заниматься большая наука», — сказал Киела.

В открытом проекте BigScience участвуют более тысячи разработчиков со всего мира, создающих и поддерживающих больших наборов данных для обучения языковых моделей.

Не забудьте подписаться на обновления сайта «MyCrypter» в удобной для вас соцсети и получать первыми новости мира Крипто.

Смотрите также