Извлекать скопированные данные Python в SQLite, Excel или XML?

Question

Я немного новичок в Python и веб-скриптинге, но сейчас я нахожусь в точке, где мне нужно извлечь данные в базу данных. Может кто-нибудь сказать мне плюсы и минусы, используя sqlite, excel или xml?

Я читал, что sqlite должен быть самым быстрым, поэтому я могу перейти к этой структуре базы данных, но кто-то может сказать мне, какую IDE вы используете для обработки данных sqlite после того, как я извлек их из python?

Редактировать: Я надеюсь, что мой пост имеет смысл. Я сейчас пытаюсь использовать веб-скребок отсюда: https://github.com/gingeleski/odds-portal-scraper

Спасибо заранее.

Answer 1

В краткосрочной перспективе Excel - хороший способ проверить ваши данные, проанализировать прототипы и визуализацию. Он стареет, используя его для очень больших наборов данных или нескольких похожих наборов данных. Как правило, как только вы начинаете делать одно и то же более двух раз или пишете код VB, вам следует переключиться на решение pandas / matplotlib.

Похоже, что используемый вами скребок уже помещает результаты в базу данных SQLITE, но если у вас есть данные в списке или словаре, я бы предложил использовать панд для выполнения расчетов и matplotlib для визуализаций, поскольку это даст вам надежное, расширяемое решение в долгосрочной перспективе. Очень просто читать и записывать данные между базой данных SQLITE и пандами.

Хороший способ просмотра данных в БД является обязательным. В настоящее время я использую SQLiteStudio .

Answer 2

Когда вы говорите IDE, я предполагаю, что вы ищете способ просмотра данных SQLite? Если это так, DBeaver - это бесплатный клиент SQL с открытым исходным кодом. Вы можете использовать это для просмотра данных довольно легко.