Очистка данных прямо в базу данных Cassandra - PullRequest
1 голос
/ 27 июня 2011

Может кто-нибудь помочь мне с базой данных Cassandra?На самом деле, я хочу передать искаженные данные непосредственно Кассандре.В настоящее время я использую scrapy для анализа данных с разных веб-сайтов.

Заранее спасибо.

ssich

1 Ответ

2 голосов
/ 27 июня 2011

В Scrapy, когда вы очистили данные, вы можете запустить их через конвейер элементов для их хранения.

Документация проста для понимания: http://doc.scrapy.org/en/latest/topics/item-pipeline.html

Просто используйте драйвер python для Cassandra в вашем конвейере пользовательских элементов, чтобы сохранить результаты.


Редактировать: Обновлена ​​мертвая ссылка с рабочей.

...