Это действительно зависит от того, от чего вы хотите его защитить. Должен ли ваш код быть в состоянии достичь этого? Затем ограничьте доступ к этому столбцу только тем пользователем, который подключается к вашему приложению.
Если даже ваш код не сможет этого сделать, например, он доступен только через хранимые процедуры с дополнительным аудитом, а затем ограничивает его еще больше. В принципе, вы наверняка захотите сделать это в самой базе данных, подумал бы я. Я не думаю, что тот факт, что вы используете EF, имеет большое значение, если честно.