У запроса недостаточно областей проверки подлинности (403) при попытке записать данные сканирования в Bigquery из конвейера Scrapy - PullRequest
Новая
       17

У запроса недостаточно областей проверки подлинности (403) при попытке записать данные сканирования в Bigquery из конвейера Scrapy

0 голосов
/ 15 мая 2019

Я пытаюсь создать сканер Scrapy: spider будет сканировать данные, затем в pipe.py, данные будут сохранены в Bigquery.Я построил его с помощью Docker, настроил задание crontab и перешел на облачный сервер Google для ежедневного запуска.

Проблема в том, что когда crontab выполняет сканер scrapy, он получает google.api_core.exceptions.Forbidden: 403 GET https://www.googleapis.com/bigquery/v2/projects/project_name/datasets/dataset_name/tables/table_name: Запрос имеет недостаточные области аутентификации. "), это работает как шарм.Данные отображаются в Bigquery.

Я использую служебную учетную запись (файл json) с ролью bigquery.admin для настройки GOOGLE_APPLICATION_CREDENTIALS. 

# spider file is fine

# pipeline.py
from google.cloud import bigquery
import logging
from scrapy.exceptions import DropItem
...

class SpiderPipeline(object):
    def __init__(self):

        # BIGQUERY
        # Setup GOOGLE_APPLICATION_CREDENTIALS in docker file
        self.client = bigquery.Client()
        table_ref = self.client.dataset('dataset').table('data')
        self.table = self.client.get_table(table_ref)

    def process_item(self, item, spider):
        if item['key']:

            # BIGQUERY
            '''Order: key, source, lang, created, previous_price, lastest_price, rating, review_no, booking_no'''
            rows_to_insert = [( item['key'], item['source'], item['lang'])]
            error = self.client.insert_rows(self.table, rows_to_insert)
            if error == []:
                logging.debug('...Save data to bigquery {}...'.format(item['key']))
                # raise DropItem("Missing %s!" % item)
            else:
                logging.debug('[Error upload to Bigquery]: {}'.format(error))

            return item
        raise DropItem("Missing %s!" % item)

В файле докера: 

FROM python:3.5-stretch

WORKDIR /app

COPY requirements.txt ./

RUN pip install --trusted-host pypi.python.org -r requirements.txt

COPY . /app

# For Bigquery
# key.json is already in right location
ENV GOOGLE_APPLICATION_CREDENTIALS='/app/key.json'

# Sheduler cron

RUN apt-get update && apt-get -y install cron

# Add crontab file in the cron directory
ADD crontab /etc/cron.d/s-cron

# Give execution rights on the cron job
RUN chmod 0644 /etc/cron.d/s-cron

# Apply cron job
RUN crontab /etc/cron.d/s-cron

# Create the log file to be able to run tail
RUN touch /var/log/cron.log

# Run the command on container startup
CMD cron && tail -f /var/log/cron.log

В crontab: 

# Run once every day at midnight. Need empty line at the end to run.
0 0 * * * cd /app && /usr/local/bin/scrapy crawl spider >> /var/log/cron.log 2>&1

В заключение, как получить crontab, запустив сканер без ошибки 403.Огромное спасибо всем за поддержку.

1 Ответ

1 голос
/ 15 мая 2019

Я предлагаю вам загрузить служебную учетную запись прямо в коде, а не из среды, подобной этой: 

from google.cloud import bigquery
from google.cloud.bigquery.client import Client
service_account_file_path = "/app/key.json" # your service account auth file file
client = bigquery.Client.from_service_account_json(service_account_file_path)

Остальная часть кода должна оставаться такой же, как вы проверяете, что это рабочий код

...