Если вы используете Tensorflow Dataset, нужно ли вам загружать свои данные?

Question

Я смотрю на Tensorflow Dataset (TFDS) и, похоже, действительно полезен. Единственная проблема, которую я вижу, это то, что если вы хотите использовать ее, вы должны загрузить свой набор данных публично в TFDS. Это верно? Есть ли возможность использовать TFDS на частном сервере? Только для внутреннего использования?

Answer 1

Если вы хотите видеть свои наборы данных в TFDS, вы должны поместить свои данные в GCS bucket или drive, но если вы хотите, чтобы ваши данные могли быть загружены с использованием некоторой регистрации или пароля, тогда ваши данные также может быть реализован в TFDS, но он не был напрямую загружен и извлечен конвейерами данных tfds, пользователь должен следовать manually downloading instructions, как указано здесь .

Также есть публикация c GCS пакет tfds, в который вы также можете загружать свои данные, но перед этим вам нужно связаться с членами TFDS (так как они должны проверить, хорошо ли загружать ваши данные в tfds gcs), размещение данных в TFDS GCS очень помогает Избегайте проблем с плохими серверами, так как пользователь может напрямую загружать ваши данные, используя tfds.load API.