Как я могу сохранить вывод apify актера в S3 или Google Bucket - PullRequest
Новая
       36

Как я могу сохранить вывод apify актера в S3 или Google Bucket

0 голосов
/ 27 марта 2020

Я создал актер apify, он сохранил вывод в облаке apify, но я хочу сохранить вывод в моей учетной записи s3 или в корзине Google. спасибо за любую помощь, чтобы сделать это

1 Ответ

0 голосов
/ 29 марта 2020

Вы можете создать функцию webhook / serverless на gcp/aws и установить конечную точку для задачи apify webhooks enter image description here

Поступающее тело webhook будет выглядеть как 

{
  "userId": {{userId}},
  "createdAt": {{createdAt}},
  "eventType": {{eventType}},
  "eventData": {{eventData}},
  "resource": {{resource}}
}

где ресурс будет таким, как показано ниже, когда SUCCESS

{
  "id": {{id}},
  "actId": {{actId}},
  "userId": {{userId}},
  "startedAt": "2020-03-29T04:12:07.434Z",
  "finishedAt": "2020-03-29T04:12:13.415Z",
  "status": "SUCCEEDED",
  "meta": {
    "origin": "DEVELOPMENT",
    "userAgent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36"
  },
  "stats": {
    ...
    ...
    ...
  },
  "options": {
    ...
    ...
    ...
  },
  "buildId": {{buildId}},
  "exitCode": 0,
  "defaultKeyValueStoreId": {{defaultKeyValueStoreId}},
  "defaultDatasetId": {{defaultDatasetId}},
  "defaultRequestQueueId": {{defaultRequestQueueId}},
  "buildNumber": "0.0.9",
  "containerUrl": {{containerUrl}}
}

Затем вы можете загрузить / сохранить-в-ведро-или-s3 свой набор данных с URL: https://api.apify.com/v2/datasets/{{defaultDatasetId}}/items программно

Надеюсь, это поможет!

...