Вы можете использовать ~in_
или notin_
.
Итак:
u = User.query.filter(User.id.notin_([1, 2, 3, 4])).all()
Это была бы отличная идеячтобы потратить некоторое время на ознакомление с документами по SQLAlchemy, многие из этих простых операторов доступны и хорошо документированы.