Похоже, вы пытаетесь использовать новый API Java5, который все еще находится в стадии разработки. Один API не поможет, так как он является лишь фасадом для базовой реализации. Насколько я знаю, текущие реализации не поддерживают новый API, так как он еще не закончен.
Относительно сообщения об ошибке: цель состоит в том, чтобы поместить класс конкретной реализации в системное свойство org.omg.dds.serviceClassName.