Scrapy / BigQuery завершается неудачно при закрытии паука и отправляет эту ошибку: OSError: [Errno 5] Ошибка ввода / вывода

Question

Я запустил CrawlSpider для сканирования категории с веб-страницы онлайн-покупок. Было около 760к предметов. Через 11 часов я просмотрел логи и понял, что паук как-то закрыт. Сбой при вызове функции close_spider() из конвейера. По сути, моя собственная реализация функции close_spider() устанавливает связь между spider и bigquery и переносит локально сохраненный файл jsonlines в базу данных bigquery. Однако, как я уже упоминал, на этом этапе это не удается.

Я вручную попробовал функцию close_spider(), и она успешно перенесла тот же сохраненный файл jsonlines в bigquery. Кстати, в файле jsonlines около 466 тыс. Строк. Кроме того, я попробовал того же паука в другой категории, в котором содержится 8 тыс. Элементов, и он успешно перенес файл фида в bigquery, а сообщение об ошибке не получено. Я сталкивался с этой ошибкой дважды. Когда я впервые получил это сообщение об ошибке, паук очистил 700 тысяч предметов.

Вот файл журнала:

2019-06-11 23:18:12 [scrapy.extensions.logstats] INFO: Crawled 480107 pages (at 787 pages/min), scraped 466560 items (at 772 items/min)
2019-06-11 23:18:33 [scrapy.core.engine] INFO: Closing spider (finished)
2019-06-11 23:18:33 [scrapy.core.engine] ERROR: Scraper close failure
Traceback (most recent call last):
  File "/usr/lib/python3/dist-packages/twisted/internet/defer.py", line 654, in _runCallbacks
    current.result = callback(current.result, *args, **kw)
  File "/home/togayyazar/etsy/etsy/pipelines.py", line 20, in close_spider
    self.write_to_bq()
  File "/home/togayyazar/etsy/etsy/pipelines.py", line 30, in write_to_bq
    print("-----BIGQUERY-----")
OSError: [Errno 5] Input/output error
2019-06-11 23:18:33 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 217195256,
 'downloader/request_count': 480652,
 'downloader/request_method_count/GET': 480652,
 'downloader/response_bytes': 29983627714,
 'downloader/response_count': 480652,
 'downloader/response_status_count/200': 480373,
 'downloader/response_status_count/301': 254,
 'downloader/response_status_count/400': 6,
 'downloader/response_status_count/503': 19,
 'dupefilter/filtered': 358230,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2019, 6, 11, 23, 18, 33, 739888),
 'httperror/response_ignored_count': 6,
 'httperror/response_ignored_status_count/400': 6,
 'item_scraped_count': 466833,
 'log_count/ERROR': 1,
 'log_count/INFO': 663,
 'memusage/max': 456044544,
 'memusage/startup': 61976576,
 'request_depth_max': 88,
 'response_received_count': 480379,
 'retry/count': 19,
 'retry/reason_count/503 Service Unavailable': 19,
 'scheduler/dequeued': 480652,
 'scheduler/dequeued/memory': 480652,
 'scheduler/enqueued': 480652,
 'scheduler/enqueued/memory': 480652,
 'start_time': datetime.datetime(2019, 6, 11, 12, 30, 12, 400853)}
2019-06-11 23:18:33 [scrapy.core.engine] INFO: Spider closed (finished)

И функция close_spider ():

def close_spider(self, spider):
    self.file.close()
    self.write_to_bq()

def write_to_bq(self):
    print("-----BIGQUERY-----")
    bq=BigQuery()
    dataset_name=self.category

    if not bq.dataset_exists(dataset_name):
        bq.create_dataset(dataset_name) 

    path="/home/togayyazar/etsy/"+self.file_path
    table_name=self.date_time
    bq.load_table(
        path,
        table_name,
        dataset_name,
        'NEWLINE_DELIMITED_JSON',
    )

Любая помощь будет оценена.

Answer 1

Если вы посмотрите на трассировку ошибок, то увидите, что у вас есть исключение в функции print().

File "/home/togayyazar/etsy/etsy/pipelines.py", line 30, in write_to_bq
    print("-----BIGQUERY-----") OSError: [Errno 5] Input/output error

Проверьте этот поток , чтобы понять проблему.

Я предлагаю вам просто удалить print или заменить его на модуль logging, у паука есть атрибут logger, если вы хотите использовать, но если вы хотите иметь регистратор с именем вашегоТрубопровод вы можете сделать это:

import logging

class YourPipeline(object):

    def __init__(self):
        # Create a logger with the pipeline name
        self.logger = logging.getLogger(self.__class__.__name__) 

    def close_spider(self, spider):
        self.file.close()
        self.write_to_bq()

    def write_to_bq(self):
        self.logger.debug("-----BIGQUERY-----")
        # rest of you code