Релиз СУБД SQLite 3.32. Проект DuckDB развивает вариант SQLite для аналитических запросов
24 мая 2020 года
Опубликован релиз SQLite 3.32.0, легковесной СУБД, оформленной в виде подключаемой библиотеки. Код SQLite распространяется как общественное достояние (public domain), т.е. может использоваться без ограничений и безвозмездно в любых целях. Финансовую поддержку разработчиков SQLite осуществляет специально созданный консорциум, в который входят такие компании, как Adobe, Oracle, Mozilla, Bentley и Bloomberg.
Основные изменения:
- Реализован аппроксимированный вариант команды ANALYZE, который позволяет в очень больших БД обойтись частичным сбором статистики, без полного сканирования индексов. Ограничение на число записей при сканировании одного индекса задаётся при помощи новой директивы "PRAGMA analysis_limit".
- Добавлена новая виртуальная таблица "bytecode", в которой предложена информация о байткоде заранее подготовленных выражений (prepared statement).
- Добавлена VFS-прослойка checksum, добавляющая 8-байтовые контрольные суммы в конец каждой страницы данных в БД и проверяющая их при каждом чтении из БД. Прослойка позволяет выявлять повреждения БД в результате случайного искажения битов в устройствах хранения.
- Добавлена новая SQL-функция iif(X,Y,Z), возвращающая значение Y, если выражение X является истинным, или Z, в противном случае.
- В выражениях INSERT и UPDATE теперь всегда применяется закрепление типов столбцов (column affinity) перед вычислением условий в блоке CHECK.
- Лимит на число параметров повышен с 999 до 32766.
- Добавлено расширение UINT collating sequence с реализацией сортировки последовательностей, учитывающей целые числа в тексте для сортировки этого текста в числовом порядке.
- В интерфейсе командной строки в команду ".import" добавлены опции "--csv", "--ascii" и "--skip". В команде ".dump" разрешено использование нескольких LIKE-шаблонов с слиянием на выходе всех таблиц, соответствующих заданным маскам. Добавлена команда ".oom" для отладочных сборок. В команды ".excel", ".output" и ".once" добавлена опция "--bom". В команду ".filectrl" добавлена опция "--schema".
- Указанное с оператором LIKE выражение ESCAPE теперь переопределяет символы подстановки, что соответствует поведению PostgreSQL .
Дополнительно можно отметить развитие новой СУБД DuckDB, в которой разрабатывается вариант SQLite, оптимизированный для выполнения аналитических запросов. Помимо кода оболочки из SQLite проектом используется вынесенный в отдельную библиотеку парсер из PostgreSQL, компонент Date Math из MonetDB, своя реализация оконных функций (на базе алгоритма Segment Tree Aggregation), векторизированный движок выполнения запросов (на базе алгоритма Hyper-Pipelining Query Execution), обработчик регулярных выражений на основе библиотеки RE2, собственные оптимизатор запросов и MVCC-механизм управления одновременным выполнением заданий (Multi-Version Concurrency Control).Код проекта распространяется под лицензией MIT. Разработка пока находится на стадии формирования экспериментальных выпусков.
Источники
правитьЛюбой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.
Комментарии
Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.
Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.
Несколько советов по оформлению реплик:
- Новые темы начинайте, пожалуйста, снизу.
- Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
- Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
- Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.
Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.