Кажется, что AvroParquetWriter не позволяет писать в канал (unix mkfifo). Есть ли какой-либо способ записать данные в формате партера в канал, а затем прочитать этот канал, чтобы попасть в файл где-то еще? Причина в том, что мы успешно отбираем данные из базы данных и записываем эти данные в файлы в формате паркета. Эти отформатированные в паркет файлы затем должны быть перенесены с помощью sftp в файловую систему на основе облака (s3 на AWS). При отсутствии каналов в процессе, мы должны написать файлы дважды. Один раз onprem из базы данных, а затем второй раз offprem из sftp. Если бы можно было использовать трубы, мы бы однажды написали файл паркета. Выберите из базы данных, запишите паркет в трубу, прочитайте из трубы в облаке, запишите в файл.