Невозможно сделать базу данных MySQL из SO вопросов по Python - PullRequest
0 голосов
/ 28 июня 2009

Ответ Брента предполагает, что я создал базу данных SO вопросов, чтобы он мог быстро проанализировать вопросы.

Я заинтересован в создании аналогичной базы данных MySQL, чтобы я мог практиковать MySQL с такими же запросами, что и Brent.

База данных должна включать, по крайней мере, следующие поля (я предполагаю, что здесь API API SO, похоже, является секретным). Я стремлюсь перечислить только релевантные переменные, которые позволили бы мне провести такой же анализ, как Брент.

  • Вопросы
  • Question_id (закрытый ключ)
  • Question_time

  • Комментарии

  • Comment_id (закрытый ключ)
  • COMMENT_TIME

  • User_id (закрытый ключ)

  • Имя_пользователя

Нам, очевидно, нужно очистить данные с помощью красивого мыла Python, потому что база данных Брента явно скрыта.

Как вы можете создать такую ​​базу данных MySQL с помощью красивого мыла Python? **

Ответы [ 2 ]

1 голос
/ 28 июня 2009

Я уверен, что можно работать непосредственно с дампом данных XML, о котором упоминает @RichieHindle, но я был намного счастлив с версией @ nobody_'s sqlite - особенно после добавления индексов в качестве файла README в этом Версия sqlite говорит.

Если у вас есть полная индексированная версия sqlite и вы хотите загрузить подмножество с тегами Python в базу данных MySQL, это можно рассматривать как простое, но аккуратное упражнение с использованием двух экземпляров API БД: чтение из sqlite и запись на MySQL (лично я нашел производительность sqlite полностью удовлетворительной после создания индекса, поэтому я не извлекал подмножество и не переходил на другие механизмы БД) - ни супа , ни мыла не требовалось для цель. В любом случае, для меня это было намного проще и быстрее, чем загрузка из XML напрямую, несмотря на lxml и все.

Конечно, если вы все еще хотите выполнить загрузку подмножества, и если у вас возникнут какие-либо проблемы при его кодировании, спросите (с примерами схемы и кода, сообщениями об ошибках, если они есть, и т. Д.), И SOers попытаются ответить как обычно! -)

1 голос
/ 28 июня 2009

Я не знаю подробностей о том, как импортировать данные в MySQL, но необработанные данные Stack Overflow свободно доступны: http://blog.stackoverflow.com/2009/06/stack-overflow-creative-commons-data-dump/

Нет ни секретного API, ни необходимости использовать Beautiful Soup.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...