Я бы посоветовал против этого. По сути, вы хотите использовать EF в качестве движка базы данных. Вы должны убедиться, что ваши двоичные файлы доступны для запроса. И что у вас есть потоковая архитектура, чтобы избежать полного копирования в память данных.
Однако, если данные достаточно малы, я просто создал бы объектную модель, которая представляет ваши данные, и использовал бы базовый Linq для их запроса.
Существует еще одно решение, которое позволяет выполнять потоковую передачу из текстового файла (Реализация IEnumerable на вашем объекте и использование выхода из потока файлов с токенами.
Однако я подозреваю, что цель вашей проблемы - использовать службы данных WCF, чтобы сделать вашу жизнь проще, а не сложнее. В этом случае списайте эту идею и вернитесь к чертежной доске, поскольку это НЕ будет тривиальным