Проведено сканирование портов всех IPv4-адресов с использованием ботнета из маршрутизаторов
21 марта 2013 года
Подведены итоги амбициозного проекта Internet Census 2012, нацеленного на полное сканирование портов для всех IPv4-адресов в сети Интернет. Сканирование осуществлялось с марта по декабрь 2012 года с использование ботнета, построенного на базе незащищённых маршрутизаторов. В результате удалось собрать самую полную в истории статистику по активности хостов и распределению сетевых портов в сети Интернет.
Для загрузки доступен полный архив со всеми собранными данными (565 Гб при использовании сжатия ZPAQ, архив gzip занимает 1.5 Тб), подборка отчётов с общей статистикой по распределению сервисов и набор изображений с наглядным представлением распределения адресов по странам и подсетям. Особенно интересна визуализация изменения доступности IP в зависимости от времени суток и интерактивная карта, позволяющая использовать типовые фильтры и допускающая масштабирования для увеличения детализации вплоть до выделенных провайдерам подсетей.
Предпосылкой к проведению полного сканирования всего диапазона IPv4-адресов послужили ранее проводимые эксперименты по автоматизации сканирования портов с использование пакета Nmap и доступного в нём движка NSE (Nmap Scripting Engine), позволяющего автоматизировать выполнение любых действий по сканированию и накоплению результатов. В итоге ранних экспериментов было выявлено, что Сеть просто изобилует незащищёнными встраиваемыми устройствами, многие из которых оснащены стандартным Linux-окружением с BusyBox и открыты для доступа под заданным производителем паролем или вообще не защищены (пустой или тривиальный пароль, вида root:root и admin:admin ).
Всего было выявлено около 420 тысяч подобных незащищённый устройств, на основе которых был создан ботнет, выполнявший в течение 10 месяцев задачи по распределённому сканированию сетевых портов. Так как для реализации проекта использовались незаконные методы, исследователи не раскрывают своих имён и действуют анонимно. Тем не менее, заявлено, что в процессе эксперимента ни одно из взломанных устройств не пострадало (конфигурация не была изменена, промышленные системы и маршрутизаторы провайдеров пропускались), влияние сканирования был сведено к минимуму (использовалась низкая интенсивность сканирования - 10 IP в секунду), а ботнет после завершения сканирования был ликвидирован. Вместе с загружаемым на устройство файлом, выполняющим сканирование, поставлялся текстовый файл с описанием сути проекта и email для связи.
В число выполняемых для каждого IP-адреса проверок входила оценка доступности наиболее часто используемых портов, ICMP ping, запрос DNS-записи для IP и SYN-сканирование. Сканирование проводилось в дублирующем режиме, для накопления статистики с разрезе времени и учёта систем, включаемых лишь на время. В итоге было накоплено около 9 Тб данных, включающих информацию о 52 миллиардах проверок через ICMP ping; 10.5 миллиарда DNS-записей; 180 миллиардов записей о сетевых портах; 2.8 миллиарда параметров SYN-сканирования для 660 млн IP и 71 миллиарда протестированных сетевых портов; 80 млн проверок слепков TCP/IP; 75 млн IP ID-последовательностей; 68 млн трассировок маршрута (traceroute).
Некоторая статистика:
- Были получены ping-ответы от 420 млн IP-адресов, плюс дополнительно 39 млн адресов отвечали по типовым портам, но были недоступны через ping. 141 млн хостов были прикрыты межсетевыми экранами и потенциально являются активными; ещё 729 млн IP, не фигурирующих в вышеотмеченных списках, имеют обратную запись в DNS. В итоге, общий размер активных адресов оценивается примерно в 1.3 миллиарда. Для 2.3 миллиарда адресов следов использования не обнаружено;
- 165 млн IP имеют один или более открытых портов из списка 150 наиболее часто используемых портов;
- 141 млн IP имеют только закрытые или сбрасываемые порты и не отвечают на ping, т.е. вероятно используются, но защищены извне межсетевым экраном;
- 1051 млн IP имеют обратную запись в DNS из них 729 млн не реагируют на проверки;
- 30 тысяч подсетей /16 содержат адреса отвечающие на ping, 14 тысяч подсетей /16 включают в себя 90% из всех отвечающих на ping адресов;
- 4.3 млн подсетей /24 содержат 420 млн отвечающих на ping адресов;
- 70.84 млн адресов отвечают по 80 TCP-порту, на 20% из низ удалось определить http-сервер Apache, 18.5% - Allegro RomPager, 12.5% - тип сервера не определён, 8.57% - Microsoft IIS, 5.7% - AkamaiGHost, 5.7% - nginx, 2.8% - micro_httpd;
- На 244 тысячах IP удалось определить наличие сетевого принтера;
- 14.16 млн IP отвечают по SSH, 34.38 млн - telnet, 4.11 млн - upnp, 6.7 млн - Windows RPC, 6.18 млн - imap, 5.9 млн - pop3, 13.57 млн - smtp, 15 млн - DNS, 27.26 млн - snmp.
Источники
править
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.
Комментарии
Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.
Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.
Несколько советов по оформлению реплик:
- Новые темы начинайте, пожалуйста, снизу.
- Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
- Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
- Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.
Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.