Началось обучение языковой модели искусственного интеллекта с открытым исходным кодом на 176 млрд параметров от международной команды разработчиков BigScience.
BigScience main training just started? A large language model created as a tool for research?
Model: 176 billion parameters
?https://t.co/7gz2GibybxData: 46 languages
?https://t.co/EOgshEDrnwCluster: 416 GPU — low carbon energy
?https://t.co/VA1u4OpnVrFollow it live?
— BigScience Research Workshop (@BigscienceW) March 15, 2022
Сейчас алгоритм обучают на данных 46 языков. Работа модель организована на суперкомпьютере Jean Zay французского Института развития и ресурсов в области интенсивных научных вычислений. Он построен на основе видеоускорителей Nvidia V100 и A100. Максимальная производительность установки превышает 28 петафлопс.
По словам руководителя отдела исследований Hugging Face Дау Киела, процесс обучения планируют проводить в период трех-четырех месяцев.
Разработчики создали проект для исследовательских целей. Проприетарные языковые модели компаний вроде OpenAI, Google или Microsoft демонстрируют одинаково проблемное поведение, порождая токсичную речь, предвзятость и дезинформацию, считают инженеры. Алгоритм с открытым исходным кодом поможет исследователям понять эти проблемы и исправить их, добавили они.
«Если мы заботимся о демократизации исследовательского прогресса и хотим убедиться, что весь мир может использовать эту технологию — мы должны найти решение для этого. Это именно то, чем должна заниматься большая наука», — сказал Киела.
В открытом проекте BigScience участвуют более тысячи разработчиков со всего мира, создающих и поддерживающих больших наборов данных для обучения языковых моделей.
Не купил крипту по низу рынка?
Cайт МарафонБет предлагает бонус до 10,000руб. за первый депозит и шанс выиграть крупные суммы на ставках и в увлекательных играх!
iGaming бонусы от партнеров
Попробуй свои силы бесплатно и выигрывай криптовалюту в лучших рекомендованных казино! Наш сайт wheretospin.com предлагает не только лучшие обзоры казино, но и возможность испытать удачу в захватывающих играх.
Присоединяйся прямо сейчас и начни путь к финансовой свободе с WhereToSpin!
New Zealand Casinos WhereToSpin in New Zealand
Kuwait and Middle East Casinos WhereToSpin in Kuwait
South Africa CasinosWhereToSpin in South Africa