Я хочу сделать расширение для Chrome, которое анализирует кадры просматриваемого видео на YouTube и накладывает прямоугольник вокруг определенных точек интереса.
Есть ли API для доступа к отображаемым кадрам и их предварительной обработки в реальном времени?
Если это невозможно, моей следующей идеей будет загрузка видео отдельно (локально или на внутреннем сервере), обработка и сохранение необходимых координат, а затем наложение прямоугольников в виде анимации html / js? В идеале использовать какую-то систему буферизации, чтобы перед воспроизведением не нужно было предварительно обрабатывать все видео.
Возможно ли что-то из этого, или есть лучшее решение, которое мне не хватает? Спасибо!