Google Cloud Platform

Question

Я строю классификационную модель с использованием AutoML и у меня есть несколько базовых c вопросов об использовании GCP.

1 - Вопрос о конфиденциальности данных; если мы сохраним данные о поведении для обучения нашей модели в BigQuery, будет ли Google иметь доступ к этим данным? Может ли Google когда-либо использовать эти данные, чтобы узнать больше о поведении людей, с которых мы собирали данные?

2 - Поскольку затраты на обучение взимаются с каждым часом, я хотел бы понять взаимосвязь между данными и временем обучения. Время линейно увеличивается с размером набора обучающих данных? Например, мы обучили классификации, используя 1,7 МБ данных, и это заняло 3 часа. Итак, заняло бы обучение модели с 17 МБ данных 30 часов?

3 - прогнозирование партии стоит 1,16 доллара в час. Тем не менее, наши данные находятся в CSV, и кажется, что мы не можем загрузить CSV, чтобы сделать пакетный прогноз. Итак, мы попробуем использовать API. Поэтому у меня есть два вопроса: A) можем ли мы выполнить пакетную загрузку с использованием API и B) каковы связанные с этим расходы?

4 - Что такое онлайн-прогноз?

5 - Когда с помощью калькулятора затрат (для машинного обучения), что такое час узла?

Answer 1

1 - Как указано в FAQ по использованию данных , Google не использует ваш контент ни в каких целях, кроме как для предоставления вам услуги Cloud AutoML.

2- Время, необходимое для обучения вашей модели, зависит от размера и сложности ваших обучающих данных, для подробного объяснения посмотрите, например, документацию Vision .

3 - Вам необходимо загрузить свой CSV-файл в Google Cloud Storage, а затем использовать его в API или в любой из доступных клиентских библиотек. См., Например, Пакетное прогнозирование на естественном языке . Что касается затрат, проверьте документацию для желаемого продукта Ценообразование AutoML зависит от того, какую функцию вы используете: Vision , Естественный язык , Перевод , Video Intelligence .

4- После того как вы создали (обучили) модель, вы можете развернуть модель и запросить онлайн-прогнозы (с однократной задержкой и в реальном времени). Онлайн-прогнозы принимают одну строку данных и предоставляют прогнозируемый результат на основе вашей модели для этих данных. Вы используете онлайн-прогнозы, когда вам нужен прогноз в качестве входных данных для потока бизнес-логики c.

5 - Вы можете думать об узле как об одной виртуальной машине, ресурсы которой используются для вычислительных целей. Типы машин различаются в зависимости от продукта и цели, для которой они используются. Например, в классификация изображений стоимость обучения модели AutoML Vision Image Classification составляет $ 3,15 за час узла, каждый узел эквивалентен машине n1-standard-8 с подключенным NVIDIA Tesla V100.GPU. Тогда час узла - это ресурсы такого узла, используемые одним часом.