Нет ничего страшного в том, чтобы использовать оба вида форм. Но убедитесь, что вы создаете их экземпляры без какого-либо владельца, поскольку типы владельцев не совместимы.
Я только что создал два простых тестовых проекта, Project46 и Project47. Project46 содержал Unit25 с формой VCL. Проект 47 содержал Unit26 с формой FMX. На Form25 я добавил кнопку с обработчиком OnClick:
procedure TForm25.Button1Click(Sender: TObject);
var
F: Unit26.TForm26;
begin
F := TForm26.Create(nil);
try
F.ShowModal;
finally
F.Free;
end;
end;
Это сработало, как и ожидалось. Но в противном случае формы должны быть строго независимы друг от друга. Можно обменять только те типы, которые у них общие.