Можно запустить экземпляр Oracle 11g, который подключается к экземпляру Oracle 10g ASM.
Единственной проблемой для вас может быть версия кластера. Oracle CRS должна иметь самую высокую версию среди (ASM, RDBMS).
И поскольку версия ASM останется 10g, СУБД не сможет использовать какие-либо новые функции ASM.
Дополнительную информацию можно найти в статье Metalink «Oracle Clusterware - ASM - Совместимость версий базы данных [ID 337737.1]» *