Как использовать путь к облаку Google (gs: //), чтобы получить все обучающие файлы и тестовые файлы в облачном хранилище Google для обучения рабочих мест на платформе ai - PullRequest
Новая
       18

Как использовать путь к облаку Google (gs: //), чтобы получить все обучающие файлы и тестовые файлы в облачном хранилище Google для обучения рабочих мест на платформе ai

0 голосов
/ 21 октября 2019

Я работаю над упаковкой учебного приложения на облачной платформе Google. Я тестирую код локально, используя python -m и gcloud ai-platform local train, он работает найти. Но когда я отправляю свою работу в облако Google, путь к обучению и тестированию набора данных (который находится в ведре Google) не работает.

Мой каталог корзин: 

my-models
  |
  |--dataset
      |-train_set
      |    |-cat(100 files inside)
      |    |-dog(100 files inside)
      |
      |-test_set
           |-cat(30 files inside)
           |-dog(30 files inside)

Я использую эту команду для отправки своих работ 

$JOB_ID --job-dir=$BUCKET_PATH_FOR_JOB \
        --staging-bucket=$BUCKET_NAME \
        --package-path=trainer \
        --module-name=trainer.task \
        --python-version=3.5 \
        --region=us-east1 \
        --runtime-version=1.14 \
        -- \
        --train_path='gs://my-models/dataset/train_set/' \
        --test_path='gs://my-models/dataset/test_set/' \
...

Вот некоторые из моего кода: 

def get_args():
    parser.add_argument(
        '--train_path',
        type=Path,
        action='store',
        help='GCS or local path to training data',
        required=True
    )
    parser.add_argument(
        '--test_path',
        type=Path,
        action='store',
        help='GCS or local path to testing data',
        required=True
    )
    return parser.parse_args()

def get_classes(train_path, test_path):
    train_dataset = list()
    test_dataset = list()
    train_classes = os.listdir(train_path)
    test_classes = os.listdir(test_path)

    return train_classes, test_classes

def main():
    args = get_args()
    train_path = args.train_path
    test_path = args.test_path
    train_classes, test_classes = get_classes(train_path, test_path)
...

Я ожидаю вывод списка каталогов cat и dog из train_path и test_path. Также возможен способ чтения файлов в каталоге.

1 Ответ

1 голос
/ 21 октября 2019

Вы слишком мало рассказываете о своей модели. Но если вы используете imageGenerator, вам не нужно маркировать свое изображение, потому что оно находится в правильном каталоге

Добавьте дополнительную информацию о вашем коде, чтобы понять, что он делает ссписок файлов, которые вы ему предоставляете!

...