XML чувствителен к регистру, поэтому сначала убедитесь, что CustomError Mode = "Off", а не "off".
Далее, вы запускаете приложение в подкаталоге другого сайта asp.net? Если это так, убедитесь, что на сайте отключены пользовательские ошибки.
Все еще не повезло? Какой веб-сервер вы используете, IIS6 или 7? Перезапускали ли вы приложение или пул приложений после внесения изменений в конфигурацию (обычно это должно происходить автоматически)? Другие приложения .net работают на том же сервере?