То, что вы хотите сделать, не поддерживается с помощью Entity Framework. Entity Framework необходимо загрузить объект в память, прежде чем вы сможете удалить его. Таким образом, он может выполнять оптимистичные проверки параллелизма.
Если вам это действительно нужно, вам придется делать это с чистым SQL или лучше, использовать хранимую процедуру. Вы можете вызвать хранимую процедуру с помощью Entity Framework.