Я не думаю, что это возможно с HDFS.Даже если вы не заботитесь о порядке записей, вы все равно заботитесь о порядке байтов в файле.Вы не хотите, чтобы писатель А записывал частичную запись, которая затем испорчена писателем Б. Это сложная проблема для HDFS, которая решается сама по себе, поэтому она этого не делает.
Создать файл для каждого писателя.Передайте все файлы любому работнику MapReduce, который должен прочитать эти данные.Это намного проще и соответствует дизайну HDFS и Hadoop.Если для кода, не относящегося к MapReduce, необходимо прочитать эти данные как один поток, то либо последовательно потоковую передачу каждого файла, либо очень быстрое задание MapReduce для объединения файлов.