Категория:BERT (языковая модель)

BERT (англ. Bidirectional Encoder Representations from Transformers — двунаправленный кодировщик основанный на трансформаре) — основанный на трансформере метод машинного обучения для предварительного обучения обработке естественного языка (NLP), разработанный Google. BERT создан и представлен в 2018 году Джейкобом Девлином и его коллегами из Google. С 2019 года Google использует BERT, чтобы лучше понимать поисковые запросы пользователей. BERT является автокодировщиком. Первоначальный англоязычный BERT имеет две модели: BERTBASE и BERTLARGE. Обе модели предварительно обучены на основе немаркированных данных, извлеченных из BooksCorpus с 800 миллионами слов и английской Википедии с 2500 миллионами слов.
 

Страницы в категории «BERT (языковая модель)»

Показаны 2 страницы из 2, находящихся в данной категории.