Мы также столкнулись с той же ошибкой в HDInsight, и после многих изменений конфигурации, аналогичных выполненным вами, единственное, что сработало, - это масштабирование нашего сервера Hive Metastore SQL DB.
Нам пришлось масштабировать его до уровня P2 с 250 DTU, чтобы наши рабочие нагрузки работали без этих исключений блокировки. Как вы, возможно, знаете, при подсчете уровня и DTU улучшается IOPS и время отклика SQL сервера, поэтому мы подозревали, что производительность Metastore была причиной root для этих исключений блокировки с увеличением рабочих нагрузок.
Следующая ссылка предоставляет информацию об изменении производительности на основе DTU на SQL серверах на Azure.
https://docs.microsoft.com/en-us/azure/sql-database/sql-database-service-tiers-dtu
Кроме того, как я знаю, Hive по умолчанию metastore, который инициализируется, когда вы решаете не предоставлять внешнюю БД при создании кластера, является просто БД уровня S1. Это не подходит для любых нагрузок с высокой пропускной способностью. В то же время, в качестве передовой практики всегда выделяйте свои метастазы, внешние по отношению к кластеру, и подключайте их во время подготовки кластера, поскольку это дает вам гибкость для подключения одного и того же Metastore к нескольким кластерам (так что ваша схема уровня Hive может совместно использоваться несколькими кластеров, например, имел oop для ETL и Spark для обработки / машинного обучения), и у вас есть полный контроль над увеличением или уменьшением метастаза в соответствии с вашими потребностями в любое время.
Единственный способ масштабирования по умолчанию Metastore - это поддержка Microsoft.