Категория:BERT (языковая модель)
(перенаправлено с «BERT (языковая модель)»)
BERT (англ. Bidirectional Encoder Representations from Transformers — двунаправленный кодировщик основанный на трансформаре) — основанный на трансформере метод машинного обучения для предварительного обучения обработке естественного языка (NLP), разработанный Google. BERT создан и представлен в 2018 году Джейкобом Девлином и его коллегами из Google. С 2019 года Google использует BERT, чтобы лучше понимать поисковые запросы пользователей.
BERT является автокодировщиком. Первоначальный англоязычный BERT имеет две модели: BERTBASE и BERTLARGE. Обе модели предварительно обучены на основе немаркированных данных, извлеченных из BooksCorpus с 800 миллионами слов и английской Википедии с 2500 миллионами слов.
|
|
Страницы в категории «BERT (языковая модель)»
Показаны 2 страницы из 2, находящихся в данной категории.