Стоимость кластера Azure Databricks, работающего, но не запускающего приложение Spark - PullRequest
Новая
       15

Стоимость кластера Azure Databricks, работающего, но не запускающего приложение Spark

1 голос
/ 28 апреля 2020

Я читал Azure Базы данных Информация о ценах , но я не могу найти, есть ли разница между затратами в зависимости от того, запущено ли приложение Spark или нет.

У меня есть двухузловой кластер, который я использую для загрузки приложения Spark, которое ежечасно вычисляет определенные элементы и сохраняет результат в таблице Databricks. Доступ к таблице должен осуществлять внешнее приложение BI, поэтому кластер должен быть включен. Предполагая, что кластер работает в течение всего часа, но выполняет приложение Spark только в течение 5 минут, будет ли взиматься плата за время выполнения 5 минут иначе, чем за остальные 55 минут?

Любая помощь будет оценили.

Ответы [ 2 ]

1 голос
/ 29 апреля 2020

Примечание: Azure Счета кластеров данных рассчитываются на основе " Стоимость виртуальной машины + стоимость DBU ", а не на основе времени выполнения для приложения Spark или любых операций или заданий ноутбуков.

Ваш случай: Если вы запустите кластер уровня Premium для 1 час в Восток США 2 с 2 экземплярами DS13v2 , выставление счета будет следующим для рабочей нагрузки Data Analytics:

  • Стоимость виртуальной машины для 2 экземпляров DS13v2 - 1 час x 2 экземпляра x 0,598 долл. / час = 1,196
  • стоимость DBU для рабочей нагрузки Data Analytics для 2 экземпляров DS13v2 - 1 час x 2 экземпляра x 2 DBU на узел x $ 0,55 / DBU = $ 2,20
  • общая стоимость будет составлять 1,196 долл. (стоимость виртуальной машины) + 2,20 долл. (стоимость DBU) = 3,306 .

Если мой кластер будет работать менее часа сколько мне будет выставлено счетов?

Мы взимаем плату за количество минут, в течение которых работает ваш кластер, с округлением до ближайшей минуты, а не часа. * 103 9 *

enter image description here

Не могли бы вы привести пример, как работает биллинг?

В зависимости от типа рабочей нагрузки кластер работает, вы будете платить либо за Data Engineering или Data Analytics рабочей нагрузки. Например, если в кластере выполняются рабочие нагрузки, запускаемые планировщиком заданий Databricks, вы будете платить за рабочую нагрузку Data Engineering. Если в вашем кластере используются интерактивные функции, такие как команды ad-ho c, вам будет выставлен счет за рабочую нагрузку Data Analytics.

Case1: Если вы запустите кластер уровня Premium на 100 часов в Восточной США 2 с 10 экземплярами DS13v2, для рабочей нагрузки Data Analytics будет выставлен следующий счет:

  • Стоимость виртуальной машины для 10 экземпляров DS13v2 - 100 часов x 10 экземпляров x 0,598 долл. США / час = 598

  • Стоимость DBU для рабочей нагрузки Data Analytics для 10 экземпляров DS13v2 - 100 часов x 10 x 2 DBU на узел x 0,55 долл. США / DBU = 1100 долл. США

  • Таким образом, общая стоимость составит 598 долл. США (стоимость виртуальной машины) + 1100 долл. США (стоимость DBU) = 1 698 долл. США

Case2: Если вы запустите кластер уровня Premium в течение 100 часов в Восточной США 2 с 10 экземплярами DS13v2, для рабочей нагрузки Data Engineering будет выставлен следующий счет:

  • Стоимость виртуальной машины для 10 экземпляров DS13v2 - 100 часов x 10 экземпляров x 0,598 долларов США / час = 598

  • Стоимость DBU для рабочей нагрузки Data Engineering для 10 экземпляров DS13v2 - 100 часов x 10 экземпляров x 2 DBU на узел x $ 0,30 / DBU = $ 600

    * 1 081 *

  • Таким образом, общая стоимость составит 598 долларов США (стоимость виртуальной машины) + 600 долларов США (стоимость DBU) = 1198 долларов США.

Дело 3: Если вы при запуске кластера уровня Premium в течение 100 часов в восточной части США 2 с 10 экземплярами DS13v2 для рабочей нагрузки Data Engineering Light будут выставляться следующие счета:

  • Стоимость виртуальной машины для 10 экземпляров DS13v2 - 100 часов x 10 экземпляров x $ 0,598 / час = $ 598

  • Стоимость DBU для Data Engineering Light для 10 экземпляров DS13v2 - 100 часов x 10 экземпляров x 2 DBU на узел x 0,22 $ / DBU = 440

  • Таким образом, общая стоимость составит 598 долларов США (стоимость виртуальной машины) + 440 долларов США (стоимость DBU) = 1038 долларов США.

В дополнение к плате за виртуальную машину и DBU, с вас могут также взимать плату за управляемые диски, общедоступный c IP-адрес или любой другой ресурс, такой как Azure Storage, Azure Cosmos DB, в зависимости от вашего приложения.

1 голос
/ 28 апреля 2020

Здесь не вопрос,

  • , но при условии, что вы используете опцию «pay-as- go», а не «зарезервированные экземпляры»,
    • вы будете взимается целый час за вычислительные ресурсы и любое временное хранилище.

Любое сохранение в хранилище оплачивается постоянно, но довольно дешево. Как и AWS, «управляемые услуги» являются более дорогостоящими.

...