Возможно, вы захотите исследовать Sikuli. Я видел другие темы, в которых люди использовали его в сочетании с watir для работы с такими вещами, как flash. Однако, поскольку он работает на основе визуального распознавания, я ожидаю, что он вообще не будет работать с видео (изменяющееся изображение, которое может быть «правильным» только в течение доли секунды) во время воспроизведения, если нет какого-либо аспекта экрана это относительно статично, что может быть использовано, чтобы знать, что идет воспроизведение видео. См. сообщение в блоге для получения дополнительной информации