Shop.com, Facebook и Nokia открыли свои разработки по кешированию контента
26 декабря 2008 года
Известный американский сервис сравнения цен на товары shop.com, опубликовал под лицензией Apache код системы кеширования контента sccache. Система написана на языке Java и обладает следующими функциями:
- Поддерживает хранение сверхбольших объектов и ключей;
- Объекты могут кешироваться как во внутреннем кеше процесса, так и во внешнем, общем распределенном кеше;
- Возможность горизонтального масштабирования;
- Объекты могут кешироваться не только в ОЗУ, но и сохраняться на диск;
- Возможность группировки ключей в кеше, объединение ключей в группы и выполнение операций целиком с группой;
- Не транзакционный механизм работы;
- Автоматическая чистка устаревших записей на основе заданного времени жизни (TTL);
- Отсутствие привязки к определенной платформе;
- Средняя производительность одного кеширующего сервера около 20 тыс. операций в минуту.
Социальная сеть Facebook тоже открыла свои разработки, связанные с кешированием контента. Доработав стандартный memcached компании удалось увеличить его производительность в 4-6 раз, если ранее memcached демонстрировал возможность обработки 50 тыс. запросов в секунду (UDP), то после применения патчей от Facebook его производительность возросла до 200-300 тыс. запросов в секунду. Также значительно уменьшено потребление памяти, за счет ухода от выделения буфера на каждый коннект к буферизации группы коннектов, обслуживаемых каждой нитью memcached. Дополнительно переработана логика обработки UDP соединений, произведена работа по уменьшению конкуренции при выставлении блокировок и балансировке ввода/вывода по управляющим процессам для уменьшения влияния большого объема прерываний на один CPU. Патч можно найти в
Источники править
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.
Комментарии
Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.
Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.
Несколько советов по оформлению реплик:
- Новые темы начинайте, пожалуйста, снизу.
- Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
- Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
- Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.
Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.
