Ошибка выпадения сегментации сценария Python в Google Compute Engine - PullRequest
0 голосов
/ 13 мая 2019

Я пытаюсь извлечь данные из BigQuery и загрузить их в облачные хранилища с помощью облачного потока данных.У меня есть скрипт .py, который делает то же самое.

Приведенный ниже запрос выполняется абсолютно без ошибок

SELECT DISTINCT local_event_start_date \
                            FROM `{src_proj}.{src_dataset}.{src_table}` a, \
                            ( SELECT MAX(audit_timestamp_asve) max_adsmart, \
                                MAX(audit_timestamp_lsve) max_linear \
                                FROM `{src_proj}.{src_dataset}.{src_table}` \
                            ) b \
                            WHERE a.audit_timestamp_asve=b.max_adsmart \
                            or a.audit_timestamp_lsve=b.max_linear order by 1 desc;""".format(
            src_proj=self.config.bq_source_project,
            src_dataset=self.config.bq_source_dataset,
            src_table=self.config.bq_source_table
        )

В тот момент, когда я настраиваю приведенный выше запрос, чтобы проверить наличие одного local_event_start_date(разделенный столбец) сценарий выдает ошибку «Killed» или «Segmentation fallout»

"""SELECT local_event_start_date \
                            FROM `{src_proj}.{src_dataset}.{src_table}` \
                            WHERE local_event_start_date = '2019-04-28';""".format(
            src_proj=self.config.bq_source_project,
            src_dataset=self.config.bq_source_dataset,
            src_table=self.config.bq_source_table)

Моя виртуальная машина является экземпляром F1 Micro с 1,70 ГБ ОЗУ.В этом ли проблема, мне нужно обновить до n1-standard-1 с 3,75 ГБ

Я просто запускаю скрипт .py на экземпляре виртуальной машины, и это все.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...