Я изучаю Python и в качестве первого проекта использую RSS-каналы Twitter, анализирую их и вставляю в базу данных sqlite. Мне удалось успешно проанализировать каждую запись фида в переменную content (например, "Вы должны купить низко ..."), переменную url (например, u 'http://bit.ly/HbFwL'), и список хэштегов (например, #stocks ', u' # stockmarket ', u' # finance ', u' # money ', u' # mkt ']). У меня также есть удалось вставить эти три фрагмента информации в три отдельных столбца таблицы sqlite «RSSEntries», где каждая строка представляет собой отдельную запись / твит rss.
Однако я хочу создать базу данных, в которой существует отношение «многие ко многим» между отдельными записями RSS-каналов (т. Е. Отдельными твитами) и хэштегами, которые связаны с каждой записью. Итак, я настроил следующие таблицы с использованием sqlalchemy (первая таблица просто включает в себя URL-адреса RSS-каналов Twitterers, которые я хочу загрузить и проанализировать):
RSSFeeds = schema.Table('feeds', metadata,
schema.Column('id', types.Integer,
schema.Sequence('feeds_seq_id', optional=True), primary_key=True),
schema.Column('url', types.VARCHAR(1000), default=u''),
)
RSSEntries = schema.Table('entries', metadata,
schema.Column('id', types.Integer,
schema.Sequence('entries_seq_id', optional=True), primary_key=True),
schema.Column('feed_id', types.Integer, schema.ForeignKey('feeds.id')),
schema.Column('short_url', types.VARCHAR(1000), default=u''),
schema.Column('content', types.Text(), nullable=False),
schema.Column('hashtags', types.Unicode(255)),
)
tag_table = schema.Table('tag', metadata,
schema.Column('id', types.Integer,
schema.Sequence('tag_seq_id', optional=True), primary_key=True),
schema.Column('tagname', types.Unicode(20), nullable=False, unique=True)
)
entrytag_table = schema.Table('entrytag', metadata,
schema.Column('id', types.Integer,
schema.Sequence('entrytag_seq_id', optional=True), primary_key=True),
schema.Column('entryid', types.Integer, schema.ForeignKey('entries.id')),
schema.Column('tagid', types.Integer, schema.ForeignKey('tag.id')),
)
До сих пор я смог успешно ввести только три основные части информации в таблицу RSSEntries, используя следующий код (сокращенно где ...)
engine = create_engine('sqlite:///test.sqlite', echo=True)
conn = engine.connect()
.........
conn.execute('INSERT INTO entries (feed_id, short_url, content, hashtags) VALUES
(?,?,?,?)', (id, tinyurl, content, hashtags))
Теперь вот огромный вопрос. Как вставить данные в таблицы feedtag и tagname ? Это является для меня настоящим камнем преткновения, поскольку для начала переменная hasthag в настоящее время является списком, и каждая запись фида может содержать от 0 до, скажем, 6 хэштегов. Я знаю, как вставить весь список в один столбец, но не знаю, как вставить только элементы списка в отдельные столбцы (или, в этом примере, строки). Более серьезная проблема - общий вопрос о том, как вставить отдельные хэштеги в таблицу tagname , когда тэг можно использовать в многочисленных различных записях фидов, и как правильно отобразить «ассоциации» в feedtag таблица.
Короче говоря, я точно знаю, как должна выглядеть каждая из таблиц, когда все они сделаны, но я понятия не имею, как написать код для передачи данных в теги и feedtag таблицы. Вся установка «многие ко многим» является новой для меня.
Я мог бы действительно использовать вашу помощь в этом. Спасибо заранее за любые предложения.
1037 * Грег *
P.S. - Редактировать - Благодаря превосходным предложениям Антса Аасмы, я смог почти заставить все это работать. В частности, 1-й и 2-й предложенные блоки кода теперь работают нормально, но у меня возникла проблема с реализацией 3-го блока кода. Я получаю следующую ошибку:
Traceback (most recent call last):
File "RSS_sqlalchemy.py", line 242, in <module>
store_feed_items(id, entries)
File "RSS_sqlalchemy.py", line 196, in store_feed_items
[{'feedid': entry_id, 'tagid': tag_ids[tag]} for tag in hashtags2])
NameError: global name 'entry_id' is not defined
Тогда, так как я не мог сказать, откуда у Антса Аасма часть "entry_id", я попытался заменить ее на "records.id", думая, что это может вставить "id" из таблицы "records". Однако в этом случае я получаю эту ошибку:
Traceback (most recent call last):
File "RSS_sqlalchemy.py", line 242, in <module>
store_feed_items(id, entries)
File "RSS_sqlalchemy.py", line 196, in store_feed_items
[{'feedid': entries.id, 'tagid': tag_ids[tag]} for tag in hashtags2])
AttributeError: 'list' object has no attribute 'id'
Я не совсем уверен, где проблема, и я не совсем понимаю, куда входит часть "entry_id", поэтому я вставил ниже весь свой соответствующий код "вставки". Может кто-нибудь помочь мне понять, что не так? Обратите внимание, что я также только что заметил, что неправильно называл свою последнюю таблицу «feedtag_table» вместо «entrytag_table». Это не соответствовало моей первоначально заявленной цели - связать отдельные фиды entry с хэштегами, а не с фидами Хештеги. С тех пор я исправил код выше.
feeds = conn.execute('SELECT id, url FROM feeds').fetchall()
def store_feed_items(id, items):
""" Takes a feed_id and a list of items and stored them in the DB """
for entry in items:
conn.execute('SELECT id from entries WHERE short_url=?', (entry.link,))
s = unicode(entry.summary)
test = s.split()
tinyurl2 = [i for i in test if i.startswith('http://')]
hashtags2 = [i for i in s.split() if i.startswith('#')]
content2 = ' '.join(i for i in s.split() if i not in tinyurl2+hashtags2)
content = unicode(content2)
tinyurl = unicode(tinyurl2)
hashtags = unicode (hashtags2)
date = strftime("%Y-%m-%d %H:%M:%S",entry.updated_parsed)
conn.execute(RSSEntries.insert(), {'feed_id': id, 'short_url': tinyurl,
'content': content, 'hashtags': hashtags, 'date': date})
tags = tag_table
tag_id_query = select([tags.c.tagname, tags.c.id], tags.c.tagname.in_(hashtags))
tag_ids = dict(conn.execute(tag_id_query).fetchall())
for tag in hashtags:
if tag not in tag_ids:
result = conn.execute(tags.insert(), {'tagname': tag})
tag_ids[tag] = result.last_inserted_ids()[0]
conn.execute(entrytag_table.insert(),
[{'feedid': id, 'tagid': tag_ids[tag]} for tag in hashtags2])