Конечно, вы всегда можете создать отдельный проект, который будет содержать ссылку на EF4, а затем просто ссылаться на этот проект из вашего проекта MVC. В зависимости от вашей архитектуры, в любом случае было бы неплохо разделить эти проблемы.
Также помните, что новые версии .NET Framework обратно совместимы, поэтому любой проект, который должен ссылаться на EF4, должен по-прежнему работать с кодом, который требует 3.5.