Как начать работу с mapreduce из cron на GAE Python

Question

У меня задание mapreduce, определенное в mapreduce.yaml:

mapreduce:
- name: JobName 
  mapper:
    input_reader: google.appengine.ext.mapreduce.input_readers.DatastoreInputReader
    handler: handler_name
    params:
    - name: entity_kind
      default: KindName

Как запустить его из cron?Есть ли какой-нибудь URL, который может его запустить?

Answer 1

Вы можете запустить задачу mapreduce из любого типа обработчика AppEngine, используя control.py

from mapreduce import control

mapreduce_id = control.start_map(
    "My Mapper",
    "main.my_mapper",
    "mapreduce.input_readers.DatastoreInputReader",
    {"entity_kind": "models.MyEntity"},
    shard_count=10)

Answer 2

Да, если вы посмотрите на страницу Getting Started , она показывает, что вы установили URL-адрес в app.yaml:

handlers:
- url: /mapreduce(/.*)?
  script: mapreduce/main.py
  login: admin

Затем вы можете просто создать его обычным способом App Engine, который в этом примере будет записывать cron.yaml следующим образом:

cron:
- description: daily summary job
  url: /mapreduce
  schedule: every 24 hours