Облачный поток данных Google удаляет акценты и специальные символы с помощью «??» - PullRequest
0 голосов
/ 01 октября 2019

Это будет довольно сложный вопрос, так как я не знаю, какой контекст или фрагмент кода вам дать, поскольку это ситуация it works in local, которая делает!

Ситуация здесь такова, что у меня есть несколько сервисов, и есть шаг, на котором сообщения помещаются в тему PubSub, ожидая, пока потребитель потока данных не обработает их и не сохранит как файлы .parquet (у меня также есть другой, который отправляет эту полезную нагрузку на конечную точку HTTP).

Дело в том, что сообщение в этой службе перед отправкой в ​​эту тему PubSub кажется правильным, в журналах Stackdriver все символы отображаются в том виде, в каком они должны быть.

Однако, когда я 'Я собираюсь проверить окончательный вывод в .parquet или в конечной точке HTTP, которую я просто вижу, например h?? вместо , что кажется довольно странным, поскольку выполнение всего локального делает вывод правильным.

Я могу думать только о кодировании на сервере, когда развертывание потока данных выполняется как задание, а не выполняется локально.

Надеюсь, кто-то может пролить светт в чем то абстрактное.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...