Загрузить данные в Google Bucket с Kaggle API и использовать его в Colab

Question

Я хочу использовать наборы данных kaggle из корзины Google при использовании colab.

Первое: есть ли способ напрямую загружать наборы данных kaggle в корзину Google через API kaggle?

Второе: как использовать данные в ведре Google из colab, не копируя их в блокнот?

В настоящее время мой опыт использования ведра Google с colab заключается в использовании URI для транскрипции аудио, напримеркак это:

gcs_uri = 'gs://bucket_name/file_name.wav'
audio = types.RecognitionAudio(uri=gcs_uri)

Полагаю, я могу сделать что-то подобное для загрузки данных в фрейм данных Python Pandas непосредственно из URI.Мой опыт использования API-интерфейса kaggle у меня на локальной машине, например:

kaggle competitions download -c petfinder-adoption-prediction

, который загружает данные с помощью API-интерфейса kaggle.Если я загружаю данные в блокнот colab, они удаляются между сеансами, поэтому я намерен использовать ведро Google, чтобы они были доступны для нескольких сеансов.

Answer 1

Вы можете попробовать это решение для вашей первой проблемы.Не уверен, что wget возможен с нужным набором данных, но предполагает, что это возможно .Но это не через Kaggle API.

Второй вопрос, как использовать данные, не копируя их в записную книжку, заключается в том, что вы можете смонтировать корзину как диск в свой экземпляр ,Тогда вы можете получить доступ к данным напрямую.

Таким образом, собрав их вместе, вы можете смонтировать ведро локально, а затем переместить данные в него.Затем вы можете получить к нему доступ в записной книжке.