Категория:BERT (языковая модель): различия между версиями
[досмотренная версия] | [досмотренная версия] |
Содержимое удалено Содержимое добавлено
+Категория:Bert; +Категория:Берт using HotCat |
Нет описания правки |
||
Строка 1:
{{Оформление категории
|Описание = BERT ({{lang-en|Bidirectional Encoder Representations from Transformers}} — двунаправленный кодировщик основанный на трансформаре) — основанный на [[Трансформер (модель машинного обучения)|трансформере]] метод [[Машинное обучение|машинного обучения]] для предварительного обучения [[Обработка естественного языка|обработке естественного языка]] (NLP), разработанный [[Google]]. BERT создан и представлен в [[2018 год]]у [[Джейкоб Девлин|Джейкобом Девлином]] и его коллегами из Google. С [[2019 год]]а Google использует BERT, чтобы лучше понимать поисковые запросы пользователей.
BERT является [[Автокодировщики|автокодировщиком]]. Первоначальный [[Английский язык|англоязычный]] BERT имеет две модели: BERT<sub>BASE</sub> и BERT<sub>LARGE</sub>. Обе модели предварительно обучены на основе немаркированных данных, извлеченных из [[BooksCorpus]] с 800 миллионами слов и [[Английская Википедия|английской Википедии]] с 2500 миллионами слов.
}}
|