РЕДАКТИРОВАТЬ 1: Я хотел бы извлечь URL-адреса и заголовки видео из результатов "https://ok.ru/video/c1404844" с помощью CLI.
Вот что я уже сделал:
Шаблон ERE для каждого относительного URL видео: /video/\d+, а абсолютный URL видео выглядит следующим образом: https://ok.ru$videoRelativeURL
/video/\d+
https://ok.ru$videoRelativeURL
Я могу использовать эту команду для извлечения URL видео (я использую uniq потому что многие идентификаторы видео появляются 3 раза):
uniq
$ curl -s https://ok.ru/video/c1404844 | grep -oP "/video/\d+" | uniq | sed "s|^|https://ok.ru|" | head -5 https://ok.ru/video/1896971373228 https://ok.ru/video/1896971438764 https://ok.ru/video/1896971569836 https://ok.ru/video/1896971635372 https://ok.ru/video/1898415590060
Затем я попытался извлечь относительный URL + заголовок видео с помощью pup .
РЕДАКТИРОВАТЬ 3: Я заменил класс имя video-card_n ellip по video-card_n.ellip. Однако pup выводит только атрибут второго класса (video-card_n.ellip), странно:
video-card_n ellip
video-card_n.ellip
pup
$ curl -s https://ok.ru/video/c1404844 | pup '.video-card_lk attr{href}, .video-card_n.ellip attr{title}' | head -5 Death.in.Paradise.S02E05.WEBRip.x264-ION10 Death.in.Paradise.S02E02.WEBRip.x264-ION10 Death.in.Paradise.S02E04.WEBRip.x264-ION10 Death.in.Paradise.S02E03.WEBRip.x264-ION10 Death.in.Paradise.S02E06.WEBRip.x264-ION10
Это не сработало, поэтому я преобразовал расширенный html в json с помощью этой команды:
$ curl -s https://ok.ru/video/c1404844 | pup 'json{}' > c1404844.json
Теперь я хочу попробовать извлечь title из video-card_n ellip и href из video-card_lk из полученного файла json с помощью инструмента jq но я знаю, как использовать jq достаточно.
title
href
video-card_lk
jq
Я бы хотел jq (или pup) для вывода плоского файла: url в качестве первого столбца и заголовок в качестве второго столбца.
РЕДАКТИРОВАТЬ 2: Большое спасибо @peak за помощь в jq!
СОВЕРШЕНО:
$ curl -s https://ok.ru/video/c1404844 | pup 'json{}' | jq -r 'recurse | arrays[] | select(.class == "video-card_lk").href,select(.class == "video-card_n ellip").title' | awk '{videoRelativeURL = $0;url="https://ok.ru"gensub("?.*$","",videoRelativeURL); getline title; print url" # "title}' | head https://ok.ru/video/1898417425068 # Death.in.Paradise.S02E05.WEBRip.x264-ION10 https://ok.ru/video/1898417359532 # Death.in.Paradise.S02E02.WEBRip.x264-ION10 https://ok.ru/video/1898417293996 # Death.in.Paradise.S02E04.WEBRip.x264-ION10 https://ok.ru/video/1898417228460 # Death.in.Paradise.S02E03.WEBRip.x264-ION10 https://ok.ru/video/1898417162924 # Death.in.Paradise.S02E06.WEBRip.x264-ION10 https://ok.ru/video/1898417097388 # Death.in.Paradise.S02E07.WEBRip.x264-ION10 https://ok.ru/video/1898417031852 # Death.in.Paradise.S02E08.WEBRip.x264-ION10 https://ok.ru/video/1898416966316 # Death.in.Paradise.S02E01.WEBRip.x264-ION10 https://ok.ru/video/1898416769708 # Death.in.Paradise.S07E02.The.Stakes.Are.High.WEBRip.x264-ION10 https://ok.ru/video/1898416704172 # Death.in.Paradise.S07E03.Written.in.Murder.WEBRip.x264-ION10 ...
После использования pup для преобразования HTML страницы верхнего уровня в JSON следующий фильтр jq создает 24 пары, первые две из которых показаны в разделе «Вывод» ниже:
[ [ .. | arrays[] | select(.class == "video-card_n ellip").title], [ .. | arrays[] | select(.class == "video-card_lk").href]] | transpose
[ [ "Замечательная пара, красивая песня и чудесное исполнение! Золотые голоса!", "/video/2406311403450?st._aid=VideoState_open_top" ], [ "#СидимДома", "/video/1675421949619?st._aid=VideoState_open_top" ], ...