То, что браузер может или не может делать в отношении предварительного кэширования, не определено и, таким образом, не может реально контролироваться. Если вы действительно думаете, что знаете лучше, чем браузер, вставьте тег с помощью JavaScript после начала загрузки видео.
Учитывая поведение, которое вы хотите, это, вероятно, лучше. Поместите тег на страницу с идентификатором, затем, когда вы захотите воспроизвести видео, пусть javascript заменит на