Как добавить словарь в CSV без добавления ключей - PullRequest
0 голосов
/ 21 апреля 2020

У меня есть словарь функций = {'feature1': 'hi', 'feature2': 'вторая функция', 'feature3': 'третья функция'}. Мне нужно сохранить его в CSV-файл. Но этот словарь обновляется в каждой итерации, и новый словарь добавляется к существующему CSV-файлу. Я использую это в скрапе.

class Myspider(SitemapSpider):
    name = 'spidername'
    sitemap_urls = ['https://www.arabam.com/sitemap/otomobil_1.xml']
    sitemap_rules = [
        ('/otomobil/', 'parse'),
        # ('/category/', 'parse_category'),
    ]

    def parse(self,response):


                            yield scrapy.Request(url, callback=self.parse_dir_contents)

    def parse_dir_contents(self,response):
        # print("hi here")
        features = {}
        features["ad_url"] = response.request.url
        #filling feature dictionary
        df = pd.DataFrame.from_dict(features , orient='index')
        df = df.transpose()
        df.to_csv("result.csv",mode = 'a', index = False)

Проблема в том, что это сохраняет словарь в csv вместе с ключом. Я прилагаю изображение листа Excel здесь: введите описание изображения здесь

Интуитивно понятный заголовок должен быть заполнен только один раз вверху, а не каждый раз во всех остальных строках. Как мне это сделать?

1 Ответ

0 голосов
/ 21 апреля 2020
class Myspider(SitemapSpider):
    name = 'spidername'
    sitemap_urls = ['https://www.arabam.com/sitemap/otomobil_1.xml']
    sitemap_rules = [
        ('/otomobil/', 'parse'),
        # ('/category/', 'parse_category'),
    ]
    custom_settings = {'FEED_FORMAT':'csv','FEED_URI':'FILEname.csv'}

    def parse(self,response):


        yield scrapy.Request(url, callback=self.parse_dir_contents)

    def parse_dir_contents(self,response):
        # print("hi here")
        item = {}
        item["ad_url"] = response.request.url
        yield item

для запуска scrapy crawl spidername

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...