Зачем нам нужен StreamingFileSink, когда существует BucketingSink?

Question

Я обнаружил, BucketingSink может делать все, что может StreamingFileSink , например записывать события в локальные файлы, файлы NAS или HDFS (Первоначально я думал, что BucketingSink может просто записывать события в HDFSи не может выполнять запись в NAS или локальные файлы), однако некоторые функции StreamingFileSink не предоставляют то, что обеспечивает BucketingSink, например, StreamingFileSink не может установить префикс и суффикс файла, однако BucketingSink может это сделать, поэтому зачем нужен StreamingFileSink, если он существуетBucketingSink

Answer 1

StreamingFileSink - это новый сток, который в конечном итоге заменит BucketingSink.BucketingSink имеет некоторые серьезные ограничения (согласованный вывод в S3, поддержка форматов блокировки, таких как Parquet и ORC), которые не могут быть разрешены без перепроектирования.StreamingFileSink реализует этот новый дизайн.

Однако, как вы заметили в текущем состоянии (Flink 1.6), StreamingFileSink пока не поддерживает все функции BucketingSink.