Как извлечь URL видео и заголовки из OK.ru/video с помощью CLI - PullRequest
0 голосов
/ 17 апреля 2020

РЕДАКТИРОВАТЬ 1: Я хотел бы извлечь URL-адреса и заголовки видео из результатов "https://ok.ru/video/c1404844" с помощью CLI.

Вот что я уже сделал:

Шаблон ERE для каждого относительного URL видео: /video/\d+, а абсолютный URL видео выглядит следующим образом: https://ok.ru$videoRelativeURL

Я могу использовать эту команду для извлечения URL видео (я использую uniq потому что многие идентификаторы видео появляются 3 раза):

$ curl -s https://ok.ru/video/c1404844 | grep -oP "/video/\d+" | uniq | sed "s|^|https://ok.ru|" | head -5
https://ok.ru/video/1896971373228
https://ok.ru/video/1896971438764
https://ok.ru/video/1896971569836
https://ok.ru/video/1896971635372
https://ok.ru/video/1898415590060

Затем я попытался извлечь относительный URL + заголовок видео с помощью pup .

РЕДАКТИРОВАТЬ 3: Я заменил класс имя video-card_n ellip по video-card_n.ellip. Однако pup выводит только атрибут второго класса (video-card_n.ellip), странно:

$ curl -s https://ok.ru/video/c1404844 | pup '.video-card_lk attr{href}, .video-card_n.ellip attr{title}' | head -5
Death.in.Paradise.S02E05.WEBRip.x264-ION10
Death.in.Paradise.S02E02.WEBRip.x264-ION10
Death.in.Paradise.S02E04.WEBRip.x264-ION10
Death.in.Paradise.S02E03.WEBRip.x264-ION10
Death.in.Paradise.S02E06.WEBRip.x264-ION10

Это не сработало, поэтому я преобразовал расширенный html в json с помощью этой команды:

$ curl -s https://ok.ru/video/c1404844 | pup 'json{}' > c1404844.json

Теперь я хочу попробовать извлечь title из video-card_n ellip и href из video-card_lk из полученного файла json с помощью инструмента jq но я знаю, как использовать jq достаточно.

Я бы хотел jq (или pup) для вывода плоского файла: url в качестве первого столбца и заголовок в качестве второго столбца.

РЕДАКТИРОВАТЬ 2: Большое спасибо @peak за помощь в jq!

СОВЕРШЕНО:

$ curl -s https://ok.ru/video/c1404844 | pup 'json{}' | jq -r 'recurse | arrays[] | select(.class == "video-card_lk").href,select(.class == "video-card_n ellip").title' | awk '{videoRelativeURL = $0;url="https://ok.ru"gensub("?.*$","",videoRelativeURL); getline title; print url" # "title}' | head
https://ok.ru/video/1898417425068 # Death.in.Paradise.S02E05.WEBRip.x264-ION10
https://ok.ru/video/1898417359532 # Death.in.Paradise.S02E02.WEBRip.x264-ION10
https://ok.ru/video/1898417293996 # Death.in.Paradise.S02E04.WEBRip.x264-ION10
https://ok.ru/video/1898417228460 # Death.in.Paradise.S02E03.WEBRip.x264-ION10
https://ok.ru/video/1898417162924 # Death.in.Paradise.S02E06.WEBRip.x264-ION10
https://ok.ru/video/1898417097388 # Death.in.Paradise.S02E07.WEBRip.x264-ION10
https://ok.ru/video/1898417031852 # Death.in.Paradise.S02E08.WEBRip.x264-ION10
https://ok.ru/video/1898416966316 # Death.in.Paradise.S02E01.WEBRip.x264-ION10
https://ok.ru/video/1898416769708 # Death.in.Paradise.S07E02.The.Stakes.Are.High.WEBRip.x264-ION10
https://ok.ru/video/1898416704172 # Death.in.Paradise.S07E03.Written.in.Murder.WEBRip.x264-ION10
...

1 Ответ

1 голос
/ 17 апреля 2020

После использования для преобразования HTML страницы верхнего уровня в JSON следующий фильтр jq создает 24 пары, первые две из которых показаны в разделе «Вывод» ниже:

[ [ .. | arrays[] | select(.class == "video-card_n ellip").title],
  [ .. | arrays[] | select(.class == "video-card_lk").href]]
| transpose

Выход


[
  [
    "Замечательная пара, красивая песня и чудесное исполнение! Золотые голоса!",
    "/video/2406311403450?st._aid=VideoState_open_top"
  ],
  [
    "#СидимДома",
    "/video/1675421949619?st._aid=VideoState_open_top"
  ],
  ...
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...