Думаю, было бы разумно тщательно оценить, что вы подразумеваете под "RTOS". Я годами работал в крупной компании, которая создает высокопроизводительные встраиваемые системы, и они называют их «в режиме реального времени», хотя на самом деле это не так. Они с малой задержкой и имеют детерминированные планировщики, и в 9 раз из 10 это то, что люди действительно хотят, когда говорят RTOS.
Правда в реальном времени требуется аппаратная поддержка и, скорее всего, это не то, что вы на самом деле имеете в виду. Если все, что вам нужно, это низкая задержка и детерминированное планирование (опять же, я думаю, это то, что люди имеют в виду в 90% случаев, когда говорят «в реальном времени»), тогда любой дистрибутив Linux будет работать для вас просто отлично. Возможно, вы даже можете обойтись с Windows (хотя я не уверен, как вы управляете планировщиком Windows ...).
Опять же, просто будьте осторожны, что вы подразумеваете под "в реальном времени".