Вам нужно только расширить классы Fragment, предоставленные для вас в файле JAR, который поставляется с плагином Compatibility.Нет необходимости поддерживать два класса для обеих платформ.
Взгляните на пример демонстраций API, который поставляется вместе с загрузкой совместимости, в частности демонстрацию FragmentLayoutSupport.
Кстати, что вы за ClassCastException?видя