Я не уверен, какую выгоду вы ожидаете от внедрения Netty, а не Mina в QuickfixJ. Иногда нам нужно смотреть на простоту адаптации и ремонтопригодности, а не только на производительность. Я реализовал механизм исправлений, используя как quickfix, так и quickfixJ, версия Java была более сложной с точки зрения поддержки большего количества сообщений. Ну, производительность была больше, чем ожидалось, было обработано более 300 сообщений в секунду.
Что касается глючности QuickfixJ, да, это так, но у вас есть исходный код, который вы можете изменить, как хотите. Я не знаю ни одного другого движка Java с открытым исходным кодом. И Quickfix поддерживается поставщиками, если вы собираетесь его купить, они будут там, чтобы поддерживать любые ошибки в Quickfix.
Я бы предпочел, чтобы вы изменили его, я изменил довольно много, чтобы настроить его для своего использования. Если у вас есть ресурсы, есть много поставщиков, которые предоставляют исправления движков Cameron и Swift.