Спецификация JAX-RS не обрабатывает аспекты сжатия, поэтому это ортогонально использованию JAX-RS.Но, насколько я помню, автоматическая обработка обычно просто поддерживает gzip, хотя добавление ваших собственных кодеков сжатия не должно быть слишком сложным.
Но вы уверены, что хотите использовать LZMA для сжатия?Это ОЧЕНЬ медленно сжимается и не очень быстро сжимается.Хотя его степень сжатия немного лучше, чем у gzip, его часто недостаточно для того, чтобы оправдать накладные расходы, и это приводит к замедлению работы.
Для скорости сжатия / распаковки Java вы можете проверить Результаты тестов jvm-compressor ;кроме gzip, кодеки Snappy и LZF еще быстрее (хотя и немного менее компактное сжатие).