Сбер открыл доступ к модели генерации текста для русского языка ruGPT-3.5 и расширенной версии нейросети mGPT, способной генерировать тексты на 61 языке
ruGPT-3.5
Внутри GigaChat находится целый ансамбль моделей — NeONKA (NEural Omnimodal Network with Knowledge-Awareness). Для его создания нужно было выбрать базовую языковую модель, которую потом можно было обучать на инструктивных данных. Russian Generative Pretrained Transformer версии 3.5 с 13 млрд параметров (ruGPT-3.5 13B) — новая версия нейросети ruGPT-3 13B.Это современная модель генерации текста для русского языка на основе доработанной исследователями Сбера архитектуры GPT-3 от OpenAI. Модель ruGPT-3.5 13B содержит 13 миллиардов параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Она обучена на текстовом корпусе размером около 1 Тб, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов. Финальный чекпоинт модели — это базовый претрейн для дальнейших экспериментов.
Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub. В обучении модели участвовали команды SberDevices и Sber AI при поддержке Института искусственного интеллекта AIRI.
mGPT
Также в открытом доступе опубликована многоязычная модель mGPT 13B под открытой лицензией MIT. Версия mGPT 13B содержит 13 млрд параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 Гб текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.Модель может использоваться для генерации текста, решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путём дообучения или в составе ансамблей моделей.
Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub.
Андрей Белевцев, старший вице-президент, CTO, руководитель блока «Технологии» Сбербанка:
— Сбер как ведущая технологическая компания выступает за открытость технологий и обмен опытом с профессиональным сообществом, ведь любые разработки и исследования имеют ограниченный потенциал в замкнутой среде. Поэтому, мы уверены, что публикация обученных моделей подстегнёт работу российских исследователей и разработчиков, нуждающихся в сверхмощных языковых моделях, создавать на их базе собственные технологические продукты и решения. Пробуйте, экспериментируйте и обязательно делитесь полученными результатами.
Нашли ошибку - выделите текст с ошибкой и нажмите CTRL+ENTER
Другие материалы рубрики

Пензенская область примет участие в Петербургском международном экономическом форуме
Потенциал Сурского края будет представлен на региональном стенде
Семьи Пензенской области показали, как работают в команде
Туристический слет мы вместе прошел в третий раз
В Каменке после вмешательства прокуратуры музей оборудуют пандусом
Надзорное ведомство проконтролирует исполнение решения суда
На Мальдивах планируют провести фестиваль подобный пензескому
Иностранцев заинтересовал гидроавиаслет «Крылья Спутника»
Три пензенские гимназистки из одного класса набрали 100 баллов на ЕГЭ по химии
Результаты обнародовали пока еще не по всем предметам
Пензенская область примет участие в Петербургском международном экономическом форуме
Потенциал Сурского края будет представлен на региональном стенде
Вадим Супиков поздравил медиков с профессиональным праздником
Председатель ЗакСобрания пожелал работникам сферы здравоохранения успехов в служении землякам