данные из таблицы сайта в базу данных sqlite - PullRequest
1 голос
/ 04 июня 2019

Вместо фактических чисел или текста объект данных извлекается из таблицы с веб-сайта.

Я пытаюсь извлечь информацию из таблицы веб-сайта и сохранить ее в SQLite database. Я получаю ошибки из-за того, что извлекаются данные dtype: объект, а не текст или числа и т. Д. Может ли кто-нибудь помочь мне наилучшим и кратчайшим способом достижения моей цели?

так data2 - это фрейм данных, сделанный pd.read_html('weblink')

enter image description here

db = sqlite3.connect('test.sqlite')
db.execute("CREATE TABLE IF NOT EXISTS data(Time TEXT, fut_volume INTEGER, fut_turnover REAL, fut_OI INTEGER, opt_volume INTEGER,opt_turnover REAL, opt_OI INTEGER)")
cursor = db.cursor()

fut_volume = data2[1][data2[1][0]=='Index Futures'][1]
fut_turnover = data2[1][data2[1][0]=='Index Futures'][2]
fut_OI = data2[1][data2[1][0]=='Index Futures'][4]
opt_volume = data2[1][data2[1][0]=='Index Options'][1]
opt_turnover = data2[1][data2[1][0]=='Index Options'][2]
opt_OI = data2[1][data2[1][0]=='Index Options'][4]
str = f"INSERT INTO contacts VALUES({datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')},
        {fut_volume},{fut_turnover},{fut_OI},{opt_volume},{opt_turnover},{opt_OI})"

enter image description here

enter image description here

1 Ответ

1 голос
/ 04 июня 2019

Сначала анализируем объекты, это пример разбора dtype объекта на integer.

data2['column'].astype(str).astype(int)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...