Ваша вторая команда на самом деле верна.Brotli, подобно Gzip / Bzip2 / etc, может сжимать только один файл.
Что вам нужно сделать, это сначала упаковать все ваши файлы в тарбол:
tar -cvf output.tar /path/to/dir
И затем сжать получившийся файлтарбол с Brotli:
brotli -j -Z output.tar
который должен оставить вам файл output.tar.br
(аналогично *.tar.gz
сжатым архивам).