Если бы TagId был частью объекта Movies, это был бы простой случай проверки того, был ли TagId для фильмов нулевым:
session.query(Movies).filter(Movies.TagId == None).all()
Но ваш комментарий «многие ко многим» предлагает ссылку MoviesTagsсущность, так что это сложнее и включает в себя ссылки на MoviesTags с помощью левого внешнего соединения.
Есть хорошее руководство по написанию и отладке похожих SQL-запросов.И вы в основном хотите в итоге:
select Movies.name from Movies
left outer join MoviesTags on Movies.MovieId = MoviesTags.MovieId
where MoviesTags.TagId is null