Я проверил это с Firefox и Firebug, и хотя вы можете «искать» точку в видео без необходимости смотреть видео, предшествующее точке, которую вы хотите искать, это все равно приводит к загрузке всего видеофайла.
Действительно, каждый раз, когда вы ищите в Firefox 4, загружается все видео.
Это может измениться и улучшить по мере того, как реализации видео HTML 5 становятся более зрелыми и могут отличаться в зависимости от используемого браузера.
Больше информации о тесте здесь:
http://www.stevefenton.co.uk/Content/Blog/Date/201106/Blog/HTML-5-Video-In-Real-Life/