Я знаю, что в StackOverflow опубликовано много ответов на один и тот же вопрос, но я не получаю помощи ни от одного из них.
Мой пример использования: я запускаю Spark на моей локальной машине с Windows.У меня нет кластера Hadoop, у меня просто Apache Spark SQL, и я создал один фрейм данных из этого.теперь я хочу перенести этот фрейм данных в Bigquery.
Я пробовал несколько библиотек, таких как Spotify-bigquery, Scaladex bigquery, но ничего не помогает.Hadoop исключение показывается каждый раз, но у меня не установлен ни один кластер Hadoop, и я также не хочу входить в Hadoop.
Я предоставил все в своем коде, как JSON key, bucket name, project id, etcТем не менее, я не могу решить эту проблему.
Пожалуйста, помогите мне выбраться из этого.
PS: я только хочу запустить свой код на моей локальной машине Windows без какого-либо вмешательства со стороныApache Hadoop.
sQLContext.setGcpJsonKeyFile(<JSON Key Path>)
sQLContext.setBigQueryProjectId(<Project ID>)
sQLContext.setBigQueryGcsBucket(<Bucket name>)
dataframe.saveAsBigQueryTable("test_table")