У меня есть сценарий Pub / Sub, публикующий мужские имена следующим образом:
from google.cloud import pubsub_v1
import names
project_id = "Your-Project-Name"
topic_name = "Your-Topic-Name"
publisher = pubsub_v1.PublisherClient()
topic_path = publisher.topic_path(project_id, topic_name)
while True:
data = names.get_first_name(gender='male') #u"Message number {}".format(n)
data = data.encode("utf-8")
publisher.publish(topic_path, data=data)
Затем у меня есть поток данных, который читает подписку, прикрепленную к topi c, а затем подсчитывает каждый элемент конвейера. следующим образом:
import logging,re,os
import apache_beam as beam
from apache_beam.options.pipeline_options import PipelineOptions
root = logging.getLogger()
root.setLevel(logging.INFO)
p = beam.Pipeline(options=PipelineOptions())
x = (
p
| beam.io.ReadFromPubSub(topic=None, subscription="projects/YOUR-PROJECT-NAME/subscriptions/YOUR-SUBSCRIPTION-NAME").with_output_types(bytes)
| 'Decode_UTF-8' >> beam.Map(lambda x: x.decode('utf-8'))
| 'ExtractWords' >> beam.FlatMap(lambda x: re.findall(r'[A-Za-z\']+', x))
| 'CountingElem' >> beam.combiners.Count.PerElement()
| 'FormatOutput' >> beam.MapTuple(lambda word, count: '%s: %s' % (word, count))
| 'Printing2Log' >> beam.Map(lambda k: logging.info(k)))
result = p.run()
result.wait_until_finish()
Проблема заключается в том, что я не получаю никакого вывода с последних 3 шагов конвейера, в то время как я могу видеть данные, поступающие с первых 3 шагов конвейера - что означает, что ничего не регистрируется .
Я ожидал, что результат будет таким:
Peter: 2
Glen: 1
Alex: 1
Ryan: 2
Я уже благодарю вас за помощь