Если оба условия должны быть выполнены (вместе в одно и то же время), Вы должны использовать &&
для их логического соединения (логическое И ):
var allNumbersEmpty = empDtos
.Where(dto => dto.ExceptionIfAny == null
&& dto.Identity.RollNumber == "")
.ToList();
Вашзапрос с ||
создаст логический ИЛИ , который будет применяться, если применимо одно или другое условие.