Обучение платформе облачного ИИ не может считаться из корзины

Question

Я пытаюсь использовать Cloud AI Platform для обучения (gcloud ai-platform jobs отправьте обучение). Я создал свою корзину и уверен, что обучающий файл там (gsutil ls gs: //sat3_0_bucket/data/train_input.csv).

Однако моя работа терпит неудачу с сообщением журнала:

File "/root/.local/lib/python3.7/site-packages/ktrain/text/data.py", line 175, in texts_from_csv
    with open(train_filepath, 'rb') as f:
FileNotFoundError: [Errno 2] No such file or directory: 'gs://sat3_0_bucket/data/train_input.csv'

Я что-то упустил?

Answer 1

Вероятно, ошибка возникает из-за того, что ktrain пытается автоматически определить кодировку символов с помощью open(train_filepath, 'rb'), что может вызвать проблемы c с Google Cloud Storage. Одним из решений является явное предоставление в качестве аргумента от encoding до texts_from_csv, чтобы этот шаг пропускался (по умолчанию None, что означает автоматическое обнаружение).

В качестве альтернативы вы можете прочитать данные в себе как a pandas DataFrame с использованием одного из этих методов . Например, pandas очевидно поддерживает GCS, поэтому вы можете просто сделать это: df = pd.read_csv('gs://bucket/your_path.csv')

Затем, используя ktrain , вы можете использовать ktrain.text.texts_from_df ( или ktrain.text.texts_from_array) для загрузки и предварительной обработки ваших данных.