Вам необходим сервер потокового мультимедиа, чтобы перейти к точному моменту в видео.
В противном случае вы застряли, используя прогрессивную загрузку, которая будет загружать каждый момент между первым и моментом, к которому вы хотите перейти
Однако вам не нужно использовать Flash Media Server. Red5 - это альтернатива с открытым исходным кодом.
Я не знаю особенностей кода, необходимого для перехода к определенной точке.