Когда я пытаюсь выполнить репликацию hbase для существующей таблицы, я получаю сообщение об ошибке ниже.
Ошибка: java.lang.IllegalArgumentException: слишком велик размер ключа
hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr = uatdmsdn1.chola.murugappa.com: 2181: / hbase-unsecure DMSMASTER
Вы пытались выполнить указанную выше команду для репликации таблицы hbase.
Ошибка
2019-06-24 13: 57: 28 864 INFO [main] util.RegionSizeCalculator: Расчет размеров областей для таблицы "DMSMASTER".2019-06-24 13: 57: 29,695 INFO [main] client.ConnectionManager $ HConnectionImplementation: Главный протокол закрытия: MasterService 2019-06-24 13: 57: 29,698 INFO [main] client.ConnectionManager $ HConnectionImplementation: Закрытие zookeeper sessionid = 0x167c47b621902019-06-24 13: 57: 29,709 ИНФОРМАЦИЯ [main] zookeeper.ZooKeeper: Сессия: 0x167c47b62190369 закрыта 2019-06-24 13: 57: 29,710 ИНФОРМАЦИЯ [main-EventThread] zookeeper.ClientCnxn: EventThread закрыта 2019-06-2413: 57: 29,948 ИНФОРМАЦИЯ [основная] mapreduce.JobSubmitter: количество разбиений: 2 2019-06-24 13: 57: 30,001 ИНФОРМАЦИЯ [главная] Configuration.deprecation: io.bytes.per.checksum устарела.Вместо этого используйте dfs.bytes-per-checkum 2019-06-24 13: 57: 30,256 INFO [main] mapreduce.JobSubmitter: Отправка токенов для задания: job_1561019887178_0042 2019-06-24 13: 57: 31,411 INFO [main] impl.YarnClientImpl: Подано приложение application_1561019887178_0042 2019-06-24 13: 57: 31 514 INFO [main] mapreduce.Job: URL для отслеживания задания: http://uatdms01.chola.murugappa.com:8088/proxy/application_1561019887178_0042/ 2019-06-24 13: 57: 31 515 INFO [main]mapreduce.Job: выполняется задание: job_1561019887178_0042 2019-06-24 13: 58: 14,384 INFO [main] mapreduce.Job: задание job_1561019887178_0042 работает в режиме uber: false 2019-06-24 13: 58: 14,387 INFO [main] mapreduce.Задание: карта 0% уменьшить на 0% 2019-06-24 13: 58: 25,015 ИНФОРМАЦИЯ [main] mapreduce.Job: идентификатор задачи: try_1561019887178_0042_m_000000_0, состояние: СБОЙ Ошибка: java.lang.IllegalArgumentException: слишком большой размер значения ключа в org.apache.hadoop.hbase.client.HTable.validatePut (HTable.java:1494) в org.apache.hadoop.hbase.client.BufferedMutatorImpl.validatePut (BufferedMutatorImpl.java:147) в org.apache.hadoop.hbasec.MutatorImpl.doMutate (BufferedMutatorImpl.java:134) по адресу org.apache.hadoop.hbase.client.BufferedMutatorImpl.mutate (BufferedMutatorImpl.java:98) по адресу org.apache.hadoop.hbase.mapreduce.Water.Opreduord.Java: 138) в org.apache.hadoop.hbase.mapreduce.TableOutputFormat $ TableRecordWriter.write (TableOutputFormat.java:94) в org.apache.hadoop.mapred.MapTask $ NewDirectOutputCollector.write (MapTask) или MapTask..apache.hadoop.mapreduce.task.TaskInputOutputContextImpl.write (TaskInputOutputContextImpl.java:89) в org.apache.hadoop.mapreduce.lib.map.WrappedMapper $ Context.write (WrappedMapper.hava: atg1: org):.hbase.mapreduce.Import $ Importer.processKV (Import.java:209) в org.apache.hadoop.hbase.mapreduce.Import $ Importer.writeResult (Import.java:164) в org.apache.hadoop.hbase.mapreduce.Import $ Importer.map (Import.java:149) в org.apache.hadoop.hbase.mapreduce.Import $ Importer.map (Import.java:132) в org.apache.hadoop.mapreduce.Mapper.run (Mapper).java: 146) в org.apache.hadoop.mapred.MapTask.runNewMapper (MapTask.java:787) в org.apache.hadoop.mapred.MapTask.run (MapTask.java:341) в org.apache.hadoop.mapred.YarnChild$ 2.run (YarnChild.java:170) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:422) в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1866) в org.apache.hadoop.mapred.YarnChild.main (YarnChild.java:164)
2019-06-24 13: 58: 34,190 INFO [main] mapreduce.Job: идентификатор задачи: try_1561019887178_0042_m_000001_0, статус: FAILED Ошибка: java.lang.IllegalArgumentException: слишком велик размер ключа