Это сложный вопрос, поэтому я собираюсь ответить вам по частям.
Формат видео / кодек:
Хотя FLV является одним из наиболее используемых форматов, он довольно неэффективен, когда мы говорим о сжатии. Большие сайты, такие как Youtube, перешли на MP4 с видеокодеком H264. Этот кодек имеет гораздо более высокую степень сжатия, чем собственные кодеки FLV (H263). Переход на кодеки с более высокой степенью сжатия сэкономит вам некоторую пропускную способность.
Игрок:
Хотя вокруг довольно много игроков, я рекомендую JWPlayer . Этот плеер активно развивается и способен запускать MP4. (большинство флэш-плееров могут работать с H264)
Кодирование:
Если вы не хотите, чтобы люди самостоятельно кодировали свои файлы, вы можете установить FFmpeg на ваш веб-сервер, вы можете использовать эту библиотеку через php: FFmpeg-php
Что нужно иметь в виду:
Имейте в виду, что на лету кодирование на веб-сервере может потреблять некоторые ресурсы. Также скоро появится HTML5, и это сделает все флеш-плееры устаревшими (Mac принял решение не использовать Flash в своих мобильных телефонах / планшетах).
Все это будет нелегко, так как нужно помнить о многих вещах.