Это невозможно напрямую в EF. Вы должны использовать отображение, называемое разбиением таблицы. Это означает, что вы разделите вашу таблицу на две сущности в отношении 1: 1 (сущности имеют только первичный ключ). Первая сущность будет иметь все поля, кроме двоичных данных, а вторая сущность будет иметь только Id и двоичные данные. Это создаст свойства навигации. Теперь вы можете загружать первый объект и лениво загружать двоичные данные при доступе к свойству навигации, указывающему на второй объект.
Здесь у вас есть пример для EFv1, где вы должны изменить EDMX напрямую (как XML), а здесь - это пример для EFv4, который должен разрешить это отображение непосредственно в конструкторе.