У меня проблема с кластером HBase.
Я разместил кластер HBase с Phoenix на EMR emr-5.8.0 и хранилище как S3.У меня 1 главный и 5 рабов 4.х больших узлов.Я теряю данные при запросе таблицы после того, как сервер региона умирает.Я сталкиваюсь с этой проблемой, только если режим хранения, как S3, но с HDFS работает нормально.Вот шаги, за которыми я следовал.
- Запустил кластер с фабрикой репликации hfs как 3.
- Создал таблицы и загрузил данные с помощью Phoenix.
- Перекрестно проверил данные, которые я загрузил в таблицы, и я вижу данные.
- Требуется завершить работу машины EC2, которая является частью кластера, то есть убить сервер региона.
- Я мог видеть изменение EMR и запуск нового узла.
- Когда я запрашиваю таблицу после того, как весь кластер стабилен, что обычно занимает 5-10 минут, я вижу потерю некоторых данных, которые находятся на мертвом RS.
Я полагаю, что HBase воспроизводит WAL после запуска нового узла, и я также мог видеть файл WAL в каталоге HDFS нового RS.Но почему-то я не вижу полных данных из таблицы.
Не могли бы вы дать мне знать, что может пойти не так.Также, пожалуйста, дайте мне знать, если мне нужно установить какие-либо свойства.
Я был бы рад предоставить более подробную информацию, если вам нужно.