Платформа данных на минималках. Часть 3. Вычислительный движок

В третьей части цикла статей о построении минималистичной платформы данных Денис из Selectel рассматривает проблему доступа к данным в формате Apache Iceberg. Несмотря на то, что Iceberg и каталог метаданных эффективно решают вопросы хранения и версионирования, данные в S3-хранилище остаются набором разрозненных Parquet-файлов. Автор ставит перед собой задачу: как обеспечить выполнение SQL-запросов к этим данным без необходимости развертывания тяжелых кластеров Apache Spark или переноса информации в отдельные СУБД. В статье анализируются подходы к выбору вычислительного движка, который позволит инженерам и аналитикам работать с таблицами напрямую. Это руководство ориентировано на тех, кто стремится оптимизировать архитектуру данных, избегая избыточных инструментов и сохраняя высокую производительность при работе с объектными хранилищами.