Маленькие файлы против больших файлов для производительности внешней таблицы

Question

Я недавно использую внешние таблицы Greenplum, и мне интересно:

Есть ли разница в производительности для распределения данных из внешней таблицы во множество небольших файлов (менее 100 КБ) вместо нескольких больших файлов (возможно, от десятков до сотен МБ)?

Есть ли разница, кроме аспекта производительности?

Answer 1

Для чтения: если у вас файлы меньшего размера, вы можете использовать несколько читателей gpfdist для параллельного чтения файлов, возможно, из нескольких файловых систем или каналов ввода-вывода на хосте ETL. Для записи: вам нужно создать несколько внешних таблиц, по одной для каждого имени файла. Это взорвет ваш каталог.