Релиз системы фильтрации спама Rspamd 1.3
25 июля 2016 года
Доступен релиз системы фильтрации спама Rspamd 1.3, предоставляющей средства для оценки сообщений по различным критериям, включая правила, статистические методы и чёрные списки, на основе которых формируется итоговый вес сообщения, используемый для принятия решения о необходимости блокировки. Код системы написан на языке Си и распространяется под лицензией BSD.
Rspamd построен с использованием событийно-ориентированной архитектуры (Event-driven) и изначально рассчитан на применение в высоконагруженных системах, позволяя обрабатывать сотни сообщений в секунду. Правила для выявления признаков спама отличаются высокой гибкостью и в простейшем виде могут содержать регулярные выражения, а в более сложных ситуациях могут оформляться на языке Lua. Расширение функциональности и добавление новых типов проверок реализуется через модули, которые могут создаваться на языках Си и Lua. Например, доступны модули для проверки отправителя с использованием SPF, подтверждения домена отправителя через DKIM, формирования запросов в списки DNSBL. Для упрощения настройки, создания правил и отслеживания статистики предоставляется административный web-интерфейс.
Основные новшества:
- Возможность работы в режиме прокси, перенаправляющего запросы к другим экземплярам Rspamd. Наиболее интересной областью применения нового режима является организация тестирования экспериментальных конфигураций. В частности, кроме отправки запросов на основной стабильный сервер, прокси может дополнительно зеркалировать определённый процент запросов на тестовые серверы, сравнивать принятые решения и отражать изменения в логе. Кроме того, прокси может шифровать трафик и обеспечивать быстрый механизм перенаправления локальных соединений;
- Добавлена поддержка зеркалирования хранилищ шаблонов для проверки по хэшам нечеткого соответствия ( fuzzy), которая позволяет применять master-slave реплицирование, создавать распределённые отказоустойчивые хранилища и формировать коллекции хэшей через объединение разных источников;
- Возможность применения протокола HTTPS для доступа к HTTP-ресурсам, таким как базы OpenPhish и PhishTank, используемые в модуле выявления фишинга;
- Во всех модулях Rspamd добавлена поддержка применения кластера из СУБД Redis с раздельным распределением запросов на серверы, обслуживающие операции чтения и записи;
- Расширение возможностей фильтрации контента. Добавлена поддержка извлечения списка файлов из некоторых типов архивов (zip, rar), что позволяет блокировать известные виды нежелательных вложений, которые пытаются скрыть через передачу в заархивированном виде. В плагин mime_types добавлена поддержка таких косвенных признаков вредоносной активности, как дублирование расширений (filename.pdf.exe), упаковка архива в архиве и применение расширений из чёрного списка. В плагине multimap реализовано сканирование содержимого сообщений, что можно использовать для блокирования типовых шаблонов, заданных в форме регулярных выражений;
- Встроенная поддержка серых списков, не требующая задействования внешних приложений, таких как Rmilter. Rspamd теперь может самостоятельно добавлять задержку при приёме подозрительных сообщений;
- Добавлен модуль Replies, реализующий функциональность Rmilter по сохранению идентификаторов исходящих сообщений и автоматическому добавлению в белый список приходящих ответов, связанных с сохранёнными идентификаторами;
- Поддержка формирования подписей DKIM в дополнение к ранее поддерживаемым проверкам корректности подписей DKIM;
- В WebUI добавлен график для наглядной оценки объёма обработанных обращений, построенный с использованием библиотеки d3.js. В интерфейс также добавлены средства для тренировки шаблонов нечеткого соответствия.
Источники
правитьЛюбой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.
Комментарии
Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.
Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.
Несколько советов по оформлению реплик:
- Новые темы начинайте, пожалуйста, снизу.
- Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
- Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
- Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.
Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.