Как обычно работают производители и потребители при отправке видеофайла?

Question

В моем понимании, когда я хочу отправить фильм (4 ГБ) брокеру Kafka, один производитель отправит этот 4 ГБ видеофайла (сериализует его) и отправит его брокеру Kafka и многим потребителям, которые хотятувидеть, что фильм будет использовать этот файл фильма.

Я слышал, что Netflix использует Kafka для отправки и просмотра фильмов.Мне интересно, как они используют производителя, брокера и потребителя.Я использую Netflix, и это действительно быстро. Я хочу знать, как они используют Кафку. (Особенно то, как они используют производителей и потребителей)

И, насколько я знаю, при отправке видеофайла нужно кодироватьи сериализовать его для отправки данных. (может кодирование в этом случае сериализуется?) Правильно ли я понял?Если я что-то упустил, не могли бы вы дать мне несколько советов и рекомендаций?

Answer 1

Netflix использует Kafka как часть своего централизованного решения для передачи данных. Он не использует Kafka для кодирования, потокового видео. Вы можете прочитать больше о том, как используется Кафка здесь .

Теперь, чтобы ответить на ваш вопрос о том, почему его услуги потокового видео настолько быстры. Вам нужно будет понять, как Netflix использует ресурсы aws, такие как ec2, s3 и другие , для создания масштабируемой, отказоустойчивой архитектуры микросервиса.

Вдобавок к этому Netflix работает с интернет-провайдерами для локализации содержимого с помощью программы под названием Netflix Open Connect . Это позволяет им cache контент локально, что минимизирует задержку и экономит на вычислениях.

Answer 2

Kafka - это «Потоковая платформа», но она предназначена для потоковой передачи данных и не предназначена для потоковой передачи видео или аудио.

Пока Netflix использует Kafka, не для потоковой передачи видео пользователям, а для обработки событий в их бэкэнде, см. Их технологический блог . Обратите внимание, что я не сотрудник Netflix и не обладаю какими-либо инсайдерскими знаниями, он просто основан на информации, которую они публично раскрыли в своем блоге и на конференциях.

Тем не менее, по-прежнему возможно отправлять видеофайл с помощью производителя и получать его с потребителем, но я не думаю, что это то, что вы имели в виду.