Массовое удаление записей из HBase - как преобразовать RDD в массив [байт]?

Question

У меня есть RDD объектов, которые я хочу массово удалить из HBase.Прочитав документацию и примеры на HBase, я получил следующий код:

hc.bulkDelete[Array[Byte]](salesObjects, TableName.valueOf("salesInfo"),
  putRecord => new Delete(putRecord), 4)

Однако, насколько я понимаю, salesObjects необходимо преобразовать в Array[Byte].Поскольку salesObjects является RDD[Sale], как правильно преобразовать его в Array[Byte]?

Я пытался Bytes.toBytes(salesObjects), но метод не принимает RDD[Sale] в качестве аргумента.Продажа - сложный объект, поэтому будет проблематично проанализировать каждое поле в байтах.
На данный момент я конвертировал RDD[Sale] в val salesList: List[Sale] = salesObjects.collect().toList, но в настоящее время застрял, куда идти дальше.

Answer 1

Я никогда не использовал этот метод, но я постараюсь помочь:

• методы принимают RDD любого типа T: https://github.com/apache/hbase/blob/master/hbase-spark/src/main/scala/org/apache/hadoop/hbase/spark/HBaseContext.scala#L290 ==>, так что вы должны бытьвозможность использовать его на вашем RDD[Sale]
• bulkDelete ожидает, что функция, преобразующая ваш объект Sale в объект Delete HBase (https://hbase.apache.org/apidocs/org/apache/hadoop/hbase/client/Delete.html)
• Delete объект представляет строку для удаленияВы можете получить пример инициализации Удалить здесь: https://www.tutorialspoint.com/hbase/hbase_delete_data.htm
• , в зависимости от того, что и как вы хотите удалить строку, вы должны преобразовать части вашего Sales в байт.Например, если вы хотите удалить данные по ключу строки, вы должны извлечь их и поместить в Delete объект

В моем понимании bulkDelete метод будет накапливать batchSize количество объектов Delete иотправьте их в HBase сразу, в противном случае, не могли бы вы показать какой-нибудь код, чтобы получить более конкретное представление о том, что вы пытаетесь сделать?

Выполнение val salesList: List[Sale] = salesObjects.collect().toList не очень хорошая идея, поскольку оно приносит все данныев ваш драйвер. Потенциально это может привести к проблеме ООМлемы.