GCP: невозможно прочитать и передать запись JSON из текстового файла, хранящегося в облачном хранилище, в хранилище данных через шаблон задания облачного потока данных - PullRequest
Новая
       37

GCP: невозможно прочитать и передать запись JSON из текстового файла, хранящегося в облачном хранилище, в хранилище данных через шаблон задания облачного потока данных

0 голосов
/ 21 октября 2019

Вариант использования:

PubSub в реальном времени сохраняет мои сообщения JSON в текстовом файле в Google Storage, я пытаюсь создать задание потока данных, прочитать эти сообщения и отправить их в хранилище данных. Все это должно происходить в режиме реального времени.

Моя логика:

для n в диапазоне (1, 1000): 

data = {'id': n,
            't': float("%.3f" % time.time())}
jsonData=json.dumps(data)
# Data must be a bytestring
data = jsonData.encode('utf-8')
# When you publish a message, the client returns a future.
future = publisher.publish(topic_path, data=data)
print(future.result())

Ошибка:

com.google.protobuf.InvalidProtocolBufferException:Не удается найти поле: id в сообщении google.datastore.v1.Entity на com.google.protobuf.util.JsonFormat $ ParserImpl.mergeMessage (JsonFormat.java:1348) на com.google.protobuf.util.JsonFormat $ ParserImpl.merge (JsonFormat.java:1308) на com.google.protobuf.util.JsonFormat $ ParserImpl.merge (JsonFormat.java:1190) на com.google.protobuf.util.JsonFormat $ Parser.merge (JsonFormat.java:370) на странице,*

Подскажите, пожалуйста, что я не так делаю?

...