Mozilla подготовила для Firefox дополнение с системой машинного перевода
24 мая 2021 года
Компания Mozilla опубликовала выпуск Firefox-дополнения Firefox Translations 0.4 (ранее развивалось под именем Bergamot Translate) с реализацией самодостаточной системы машинного перевода, работающей на стороне браузера без обращения к внешним сервисам. Для перевода с одного языка на другой задействован движок bergamot-translator, развиваемый в рамках инициативы Bergamot разработчиками из Mozilla совместно с исследователями нескольких университетов Великобритании, Эстонии и Чехии при финансовой поддержке Евросоюза. Код распространяется под лицензией MPL-2.0.
Движок написан на языке C++ и компилируется промежуточное бинарное представление WebAssembly при помощи компилятора Emscripten. Движок представляет собой обвязку над фреймворком машинного перевода Marian, в котором применяется рекуррентная нейронная сеть ( RNN) и языковые модели на основе трансформеров. Для ускорения обучения и перевода может использоваться GPU. Marian используется для обеспечения работы сервиса перевода Microsoft Translator и развивается в основном инженерами из Microsoft совместно с исследователями из Эдинбургского и Познанского университетов.
В Firefox Translations реализована поддержка перевода с эстонского и испанского языков на английский и наоборот, а также с английского на немецкий. Производительность перевода составляет 500-600 слов в минуту. Имеется поддержка приоритизации перевода текста, видимого в окне браузера. В новой версии предоставлена возможность автоматической загрузки файлов с моделями при первой попытке перевода. Файлы с моделями занимают примерно 15 МБ для каждого языка. Автоматическая загрузка приводит к небольшой задержке перед началом первого перевода, но кардинально сокращает размер самого дополнение (3.6 МБ вместо 124 МБ).
В новой версии также значительно ускорена загрузка моделей в память - если раньше на загрузку модели требовалось 10-30 секунд, то теперь модели загружаются почти мгновенно. Если перевод страницы занимает более 3 секунд в интерфейсе обеспечена индикация прогресса выполнения операции. Перевод осуществляется последовательно сверху вниз, начиная с видимой области. Переведённые части показываются по мере готовности, а не переведённые остаются на исходном языке.
Включена отправка телеметрии, включающей данные о взаимодействии пользователя с интерфейсом дополнения (например, о нажатии кнопки перевода или запрете переводов для определённых сайтов), информацию о времени выполнения операций и технические сведения о системе (CPU, память).
Дополнение пока может быть установлено только в ночных сборках Firefox при отключении проверки дополнений по цифровой подписи ("xpinstall.signatures.dev-root=true" и "xpinstall.signatures.required=false" в about:config). После установки дополнения Firefox начнёт выводить панель с предложением выполнить перевод для страниц, язык которых отличается от языка браузера и поддерживается в дополнении. Предоставляется возможность отключить дальнейший вывод панели для заданного языка или сайта.
Напомним, что в Firefox уже имеется встроенный механизм для перевода страниц, но он завязан на использовании внешних облачных сервисов (поддерживаются Google, Yandex и Bing) и не активирован по умолчанию (для включения в about:config следует изменить настройки "browser.translation"). Механизм перевода в том числе поддерживает автоматическое определение языка при открытии страницы на неизвестном языке и выводит специальный индикатор с предложением осуществить перевод страницы. Новое дополнение использует этот же интерфейс для взаимодействия с пользователем, но вместо обращения к внешним сервисам запускается встроенный обработчик, обрабатывающий данные на системе пользователя.
Источники
править
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.
Комментарии
Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.
Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.
Несколько советов по оформлению реплик:
- Новые темы начинайте, пожалуйста, снизу.
- Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
- Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
- Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.
Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.
