Книга Sonatype, "Maven: полный справочник" раздел 9.2 посвящен свойствам maven и перечисляет следующие свойства, которые относятся к вашему вопросу:
java.version
os.name
Свойство java.version кажется пригодным для использования, и в моем тестировании было возвращено значение "1.6.0_27". Однако, как вы и просили, свойство os.name не совсем "семейство os". В моем случае os.name возвращает «Windows Vista», что, я думаю, не то, на что вы надеетесь. Я не знаю свойства для получения семейства ОС по вашему желанию, поэтому я рекомендую использовать профили maven в качестве предварительного упоминания для настройки ваших плагинов с нужным ОС.