Как снежинка хранит данные внутри Micro-разделов

Question

Мне более любопытно понять процесс Snowflake для хранения данных в микроразделах. Насколько я знаю, снежинка каждого размера раздела будет 50-500 МБ.

Предположим, у меня есть размер файла 1 ГБ, и я хотел загрузить эти данные в снежинку. Может кто-нибудь объяснить мне внутренний процесс / шаги, которые делает снежинка, чтобы сохранить данные в микроразделах

Answer 1

Формат файла микрораздела Snowflake является проприетарным, поэтому вы не получите гораздо больше информации, чем уже есть в документации (если не считать, что кто-то нарушает их трудовой договор со Snowflake).

• Документация по микроразделам
• Бумага SIGMOD от a go

Answer 2

Чтобы оптимизировать количество параллельных операций для загрузки, Snowflake рекомендует файлы размером от 10 МБ до 100 МБ, сжатые . Разделение больших файлов на большее количество меньших файлов распределяет нагрузку между серверами в активном хранилище и повышает производительность.

https://docs.snowflake.net/manuals/user-guide/data-load-considerations-prepare.html#general -file-sizing-рекомендации