Категория:BERT (языковая модель)

BERT (англ. Bidirectional Encoder Representations from Transformers — двунаправленный кодировщик основанный на трансформаре) — основанный на трансформере метод машинного обучения для предварительного обучения обработке естественного языка (NLP), разработанный Google. BERT создан и представлен в 2018 году Джейкобом Девлином и его коллегами из Google. С 2019 года Google использует BERT, чтобы лучше понимать поисковые запросы пользователей. BERT является автокодировщиком. Первоначальный англоязычный BERT имеет две модели: BERT_BASE и BERT_LARGE. Обе модели предварительно обучены на основе немаркированных данных, извлеченных из BooksCorpus с 800 миллионами слов и английской Википедии с 2500 миллионами слов.

 

Служебная информация

Короткая ссылка • Статистика посещений • Популярные новости: д, н, м • Сведения о странице • Архив (по id) • Обновить