Обычно снижение производительности происходит только при создании соединения с базой данных. Эта операция интенсивна для всех типов провайдеров.
Кто-то, пожалуйста, исправьте меня, если я ошибаюсь, но начиная с .NET4 Microsoft создала драйвер Oracle, который, я считаю, позволяет LINQ to SQL. Я знаю, что это было в работе в один момент, и я знаю, что драйвер Oracle для .NET4, поэтому я предполагаю, что это тот же самый.
Тем не менее, LINQ to Entities не зависит от БД, поэтому до тех пор, пока вы придерживаетесь этого правила, все должно быть в порядке.