Как перенести вывод wget в файл или в БД? - PullRequest
0 голосов
/ 16 января 2011

Я пытаюсь использовать небольшой скрипт для загрузки поля с нескольких страниц.Во-первых, я могу получить его только с одной страницы ..., но реальная проблема, с которой я столкнулся, заключается в том, что я не знаю, как передать результат в таблицу базы данных?Как я могу взять вывод из curl / lynx | grep (который будет всеми элементами списка) и переместить его, элемент списка за элементом списка, в таблицу в моей БД или в CSV, где он будет готов для импортак БД?

#!/bin/bash

lynx --source "http://www.thewebsite.com"|cut -d\" -f8|grep "<li>"

База данных, к которой я бы подключился, была бы базой данных MySQL.Мы могли бы назвать фиктивную таблицу «listTable».Пожалуйста, попробуйте придерживаться Bash?Мне не разрешено компилировать на сервере, который я использую, и я не могу заставить curl работать с PHP.В любом случае, я думаю, что мне нужно создать переменную, а затем систематически передавать содержимое переменной в базу данных, верно?

Ответы [ 2 ]

2 голосов
/ 16 января 2011

Используйте что-то вроде awk, sed или perl для создания операторов INSERT, а затем передайте это клиенту sql (psql или mysql).

0 голосов
/ 16 января 2011

Просто напишите скрипт на Python, который читает все со стандартного ввода и помещает его в базу данных, и сделайте что-то вроде:

curl <a href="http://www.google.com" rel="nofollow">http://www.google.com</a> | ./put_to_db.py

...