Как обрабатывать входящие сообщения PubSub в Python? - PullRequest
0 голосов
/ 17 января 2019

Я создал экземпляр Cloud Compute Engine в Debian и успешно создал подписку PUSH на тему с

from google.cloud import pubsub_v1

project_id = "censored"
topic_name = "censored"
subscription_name = "censored"
endpoint = "https://censored.appspot.com/pubsub/push?token=censored"

def create_push_subscription(project_id,
                             topic_name,
                             subscription_name,
                             endpoint):
    """Create a new push subscription on the given topic."""
    # [START pubsub_create_push_subscription]

    subscriber = pubsub_v1.SubscriberClient()
    topic_path = subscriber.topic_path(project_id, topic_name)
    subscription_path = subscriber.subscription_path(
        project_id, subscription_name)

    push_config = pubsub_v1.types.PushConfig(
        push_endpoint=endpoint)

    subscription = subscriber.create_subscription(
        subscription_path, topic_path, push_config)

    print('Push subscription created: {}'.format(subscription))
    print('Endpoint for subscription is: {}'.format(endpoint))
    # [END pubsub_create_push_subscription]

create_push_subscription(project_id, topic_name, subscription_name, endpoint)

, но я не уверен, как именно поступают входящие сообщения.Я нашел этот пример кода для разбора сообщений, но я не уверен, как заставить его отслеживать в фоновом режиме и «активировать» при поступлении входящих сообщений.

import argparse
import base64
import json
import sys
import time

from google.cloud import pubsub_v1

def summarize(message):
    # [START parse_message]
    data = message.data.decode('utf-8')
    attributes = message.attributes

    name = attributes['name']
    time_created = attributes['timeCreated']
    bucket_id = attributes['bucketId']
    object_id = attributes['objectId']
    generation = attributes['objectGeneration']
    description = (
        '\tName: {name}\n'
        '\tTime Created: {time_created}\n'
        '\tBucket ID: {bucket_id}\n'
        '\tObject ID: {object_id}\n'
        '\tGeneration: {generation}\n'
        ).format(
            name=name,
            time_created=time_created,
            bucket_id=bucket_id,
            object_id=object_id,
            generation=generation
            )

    if 'overwroteGeneration' in attributes:
        description += '\tOverwrote generation: %s\n' % (
            attributes['overwroteGeneration'])
    if 'overwrittenByGeneration' in attributes:
        description += '\tOverwritten by generation: %s\n' % (
            attributes['overwrittenByGeneration'])

    payload_format = attributes['payloadFormat']
    if payload_format == 'JSON_API_V1':
        object_metadata = json.loads(data)
        name = object_metadata['name']
        time_created = object_metadata['timeCreated']
        size = object_metadata['size']
        content_type = object_metadata['contentType']
        metageneration = object_metadata['metageneration']
        description += (
            '\tName: {name}\n'
            '\tTime Created: {time_created}\n'
            '\tContent type: {content_type}\n'
            '\tSize: {object_size}\n'
            '\tMetageneration: {metageneration}\n'
            ).format(
                name=name,
                time_created=time_created,
                content_type=content_type,
                object_size=size,
                metageneration=metageneration
                )
    return description
    print('Note for developer: If BucketId and ObjectId listed, utf encoding.')
    print('If not, JSON_V1 encoding. Adjust accordingly.')

    # [END parse_message]
while(True):
    print("signpost 1")
    summarize(message)
    print("signpost 2")
    time.sleep(10)
print("signpost 3")

Например, этот код вернется

NameError: name 'message' is not defined

, что ожидается ...

Может ли кто-нибудь помочь мне правильно настроить его?

Я знаю, что в PULL все по-другому, потому что тогда сообщение будет определено во время извлечения, но я бы хотел сохранить его как PUSH, если это возможно.

1 Ответ

0 голосов
/ 17 января 2019

Вам необходимо создать длительный процесс, который может либо непрерывно опрашивать новые сообщения (по подписке), либо иметь доступную конечную точку для получения новых сообщений (принудительная подписка).

См. Пример здесь: https://github.com/GoogleCloudPlatform/python-docs-samples/blob/master/pubsub/cloud-client/subscriber.py,, а также различия между push и pull здесь: https://cloud.google.com/pubsub/docs/subscriber

...