Я пытаюсь извлечь данные из BigQuery и загрузить их в облачные хранилища с помощью облачного потока данных.У меня есть скрипт .py, который делает то же самое.
Приведенный ниже запрос выполняется абсолютно без ошибок
SELECT DISTINCT local_event_start_date \
FROM `{src_proj}.{src_dataset}.{src_table}` a, \
( SELECT MAX(audit_timestamp_asve) max_adsmart, \
MAX(audit_timestamp_lsve) max_linear \
FROM `{src_proj}.{src_dataset}.{src_table}` \
) b \
WHERE a.audit_timestamp_asve=b.max_adsmart \
or a.audit_timestamp_lsve=b.max_linear order by 1 desc;""".format(
src_proj=self.config.bq_source_project,
src_dataset=self.config.bq_source_dataset,
src_table=self.config.bq_source_table
)
В тот момент, когда я настраиваю приведенный выше запрос, чтобы проверить наличие одного local_event_start_date(разделенный столбец) сценарий выдает ошибку «Killed» или «Segmentation fallout»
"""SELECT local_event_start_date \
FROM `{src_proj}.{src_dataset}.{src_table}` \
WHERE local_event_start_date = '2019-04-28';""".format(
src_proj=self.config.bq_source_project,
src_dataset=self.config.bq_source_dataset,
src_table=self.config.bq_source_table)
Моя виртуальная машина является экземпляром F1 Micro с 1,70 ГБ ОЗУ.В этом ли проблема, мне нужно обновить до n1-standard-1 с 3,75 ГБ
Я просто запускаю скрипт .py на экземпляре виртуальной машины, и это все.