Amazon EMR Hadoop, конфликт версий HBase - PullRequest
2 голосов
/ 30 апреля 2019

Мы используем Amazon EMR release 5.21.0, который должен включать следующие компоненты: Hadoop 2.8.5, HBase 1.4.8 (см. Руководство по выпуску )

Но hbase-server: 1.4.8 содержит зависимость от hadoop-client: 2.7.4, которая конфликтует с hadoop-client: 2.8.5

UPDATE: Согласно Relase Guide Amazon говорит, что они используют настроенную версию hadoop lib: 2.8.5-amzn-1.

Некоторые компоненты требуют изменений по сравнению с версиями сообщества для Amazon EMR. Эти компоненты имеют метку версии в форме CommunityVersion-amzn-EmrVersion. Например, если компонент сообщества больших данных с именем myapp-component версии 2.2 был изменен три раза для включения в различные версии выпуска Amazon EMR, его версия выпуска будет обозначена как 2.2-amzn-3.

Где найти настроенную версию? Как проверить разницу 2.8.5-amzn-1 с версией сообщества 2.8.5? Почему выпуск EMR имеет несовместимую версию согласно официальной документации hbase. Документация гласит , что Hadoop 2.8.3+ следует использовать с HBase 2.0.x

...