Компания Yahoo выпустила свободный дистрибутив платформы Apache Hadoop
12 июня 2009 года
Компания Yahoo объявила о выпуске собственной версии дистрибутива платформы Apache Hadoop, предназначенной для организации распределенной обработки больших объемов данных (петабайты) с использованием парадигмы map/reduce, когда задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. Дистрибутив включает в себя набор подготовленных в недрах Yahoo дополнений и улучшений, используется в компании непосредственно в работе поискового движка и распространяется в исходных текстах. Код Hadoop и новый дистрибутив Yahoo распространяются под лицензией Apache 2.0.
Представленный код отличается высоким качеством и всесторонне протестирован в промышленной эксплуатации, так как непосредственно используется в самых больших из существующих Hadoop кластеров (Hadoop кластеру Yahoo принадлежит мировой рекорд скорости сортировки большого объема данных). Разработчики Yahoo надеются, что представленный пакет сможет помочь развитию оригинального проекта Apache Hadoop, поддерживаемого Apache Software Foundation, а также повысить качество дистрибутива Cloudera, нацеленного на упрощение развертывания и конфигурирования Hadoop кластеров. Из других проектов, использующих систему Hadoop, можно отметить социальную сеть Facebook и Microsoft Kumo (поисковая технология идущая на смену Live Search).
Одновременно компания Cloudera представила проект Sqoop, предназначенный для миграции данных из классических SQL баз или отдельных таблиц в хранилище на базе Apache Hadoop. Кроме того, Sqoop поддерживает средства для генерации готовых Java классов для последующей работы с импортированными данными. Для упрощения доступа к данным в Hadoop хранилище изначально разрабатывается SQL-подобный язык Pig, который является своего рода SQL для MapReduce, запросы которого могут быть распараллелены и обработаны несколькими Hadoop-платформами.
Источники
править
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.
Комментарии
Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.
Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.
Несколько советов по оформлению реплик:
- Новые темы начинайте, пожалуйста, снизу.
- Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
- Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
- Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.
Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.
