Викиновости

Выпуск платформы для распределённой обработки данных Apache Hadoop 2.8

7 июня 2017 года

После двух лет разработки организация Apache Software Foundation опубликовала релиз Apache Hadoop 2.8, свободной платформы для организации распределённой обработки больших объёмов данных с использованием парадигмы map/reduce, при которой задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. Хранилище на базе Hadoop может охватывать тысячи узлов и содержать эксабайты данных.

В состав Hadoop входит реализация распределенной файловой системы Hadoop Distributed Filesystem (HDFS), автоматически обеспечивающей резервирование данных и оптимизированной для работы MapReduce-приложений. Для упрощения доступа к данным в Hadoop хранилище разработана БД HBase и SQL-подобный язык Pig, который является своего рода SQL для MapReduce, запросы которого могут быть распараллелены и обработаны несколькими Hadoop-платформами. Проект оценивается как полностью стабильный и готовый для промышленной эксплуатции. Hadoop активно используется в крупных промышленных проектах, предоставляя возможности, аналогичные платформе Google Bigtable/GFS/MapReduce, при этом компания Google официально делегировала Hadoop и другим проектам Apache право использования технологий, на которые распространяются патенты, связанные с методом MapReduce.

Основные изменения в Apache Hadoop 2.8:

  • Проведена работа по увеличению средств защиты, в том числе добавлены средства для блокирования атак XFS (Cross-Frame Scripting, загрузка web-интерфейса в iframe) и CSRF (Cross Site Request Forgery, подстановка скрытых обращений к REST API);
  • Для улучшения интеграции с другими приложениями представлен отдельный jar-архив hadoop-hdfs-client с компонентами клиента HDFS, который в отличие от архива hadoop-hdfs не содержит кода, связанного с обеспечением работы сервера, и требует меньше зависимостей;
  • Добавлена поддержка сервиса Microsoft Azure Data Lake в качестве источника и приёмника данных;
  • S3A, клиент для работы с данными, хранимыми в Amazon S3, существенно улучшен в плане масштабирования, производительности и безопасности. Судя по тестам Apache Hive TCP-DS, при работе с данными в хранилище S3 производительность Apache Hadoop теперь выше, чем у проприетарного коннектора Amazon EMR;
  • Серия улучшений, связанных с WebHDFS, включая интегрированный фильтр для защиты от атак CSRF, поддержку OAuth2 и управление разрешением/запретом снапшотов;
  • Добавлена возможность реконфигурации ресурсов YARN NodeManager через CLI-интерфейс RM Admin, что позволяет использовать более гибкую модель распределения ресурсов в кластерах, построенных поверх облачных систем.

Источники

править


 
 
Creative Commons
Эта статья содержит материалы из статьи «Выпуск платформы для распределённой обработки данных Apache Hadoop 2.8», опубликованной OpenNET и распространяющейся на условиях лицензии Creative Commons Attribution (CC BY) — указание автора, источник и лицензию.
 
Эта статья загружена автоматически ботом NewsBots в архив и ещё не проверялась редакторами Викиновостей.
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.

Комментарии

Викиновости и Wikimedia Foundation не несут ответственности за любые материалы и точки зрения, находящиеся на странице и в разделе комментариев.



Источник — https://ru.wikinews.org/w/index.php?title=Выпуск_платформы_для_распределённой_обработки_данных_Apache_Hadoop_2.8&oldid=8716859