Он отслеживает коллекцию удаленных сущностей, даже если она не была сохранена в вашем магазине (она находится в свойстве ObjectsRemovedFromCollection).
Эта ссылка содержит дополнительную информацию о том, что происходит внутри: MSDN
Я не нахожу подробностей о том, что явно запускает проверку, но вы можете попробовать вызвать AcceptChanges () или ObjectsAddedToCollectionProperties.Clear () и ObjectsRemovedFromCollectionProperties.Clear () перед вызовом context.SubmitChanges ()