Доклады SmartData 2023 — Database Internals
Максим Бабенко, Яндекс — «Как мы адаптировали динамические таблицы YTsaurus для хранения блобов»
YTsaurus, использующий технику LSM (log-structured merge tree), показывал себя не с лучшей стороны, если в ячейках хранились блобы крупного размера — они перезаписывались, тратили впустую сеть и ресурсы CPU. Чтобы избежать этого, команда YTsaurus реализовала хранение блобов отдельно от «обычных» табличных данных. Максим расскажет, как удалось модифицировать алгоритмы compaction, находить «мусор» среди блобов, а в качестве бонуса — выносить часть данных из RAM под видом блобов.
Петр Зайцев, Percona — «Глубокое погружение в производительность запросов»
Хранилище данных — не просто еще один сервис, для которого важно успешно установить соединение и получить корректные результаты.
Рассмотрим, как и зачем выходить за рамки средних показателей, как избежать перегруза деталями. Выясним, когда нужно настраивать запросы, а когда — всю БД. Изучим способы минимизации времени реакции на запросы пользователей и недооцененные факторы, которые влияют на производительность — от перегрузки сети до скорости света.
Владимир Озеров, Querify Labs — «Быстрая обработка данных в Data Lake с помощью Trino и CedrusData»
Владимир расскажет про оптимизации, которые позволяют распределённому SQL-движку Trino и его форку CedrusData быстро обрабатывать большие объемы данных из Data Lake: использование метаданных Parquet и ORC для уменьшения объема сканируемых данных, динамические фильтры, локальный дисковый кэш, материализованные представления и ряд других важных техник.
Антон Виноградов, Apache Software Foundation — «Сжатие, шифрование и не только: меняем поведение и гарантии распределенной базы данных»
Разберемся в разных подходах к трансформации данных на примере их сжатия. Оценим на реальных примерах в Apache Ignite преимущества и недостатки этих подходов, успешные и не очень стратегии — как они способствуют хранению максимального объема данных, повышению быстродействия системы или даже выполнению SLA.
Другие доклады о внутренностях баз данных и полная программа конференции — уже на сайте SmartData 2023.