У меня есть разрешение на это.
У меня есть веб-сайт с 250 страницами, с которого мне нужно загрузить «описания продуктов» и «изображения продуктов».Как мне это сделать?Я хотел бы вывести данные в CSV, чтобы я мог поместить их в таблицу БД.Может ли кто-нибудь указать мне хороший учебник, чтобы начать это?Я должен использовать cURL, верно?
Пока что я получил это с другой страницы stackoverflow, Как перенести вывод wget в файл или БД? :
curl somesite.com | grep sed etc | sed -e '/^(.*)/INSERT tableName (columnName) VALUES (\1)/' |psql dbname
И я создал этокоторый отстой, чтобы получить изображения:
#!/bin/bash
lynx --source "www.site.com"|cut -d\" -f8|grep jpg|while read image
do
wget "www.site.com/$image"
done
, просмотрев это видео: http://www.youtube.com/watch?v=dMXzoHTTvi0.