Сначала вы должны проверить, можете ли вы изменить функцию, чтобы она принимала только класс формы:
function CreateIfForm(const nClass: TFormClass): TForm;
и обойти необходимость проверки типа и приведения.
Если это невозможно, вы можете использовать InheritsFrom
:
function CreateIfForm(const nClass: TClass): TForm;
begin
if not nClass.InheritsFrom(TForm) then
raise Exception.Create('Not a form class');
Result := TFormClass(nClass).Create(Application);
end;