Как сделать оптимизацию в HBase частичное сканирование - PullRequest
4 голосов
/ 29 февраля 2020

Я хочу выполнить сканирование таблицы HBase, содержащей 4 миллиарда записей, и каждая запись имеет размер ~ 500 байтов. Я ожидаю, что каждое сканирование будет возвращать записи размером до 500 КБ и размером ~ 250 МБ.

Имя таблицы: Транзакция Семейство столбцов: cf Спецификатор столбца в cf: транзакцияTime, код города, идентификатор пользователя, сумма, сумма скидки, номер телефона, адрес электронной почты

Структура RowKey: salt_userid_citycode_phoneNumber_transactionTime

Я должен сканировать все транзакции с указанным кодом города.

Мой STARTROW : код_соли

КОНЕЦ : соль_ (код города + 1)

Scan scanRequest = new Scan();
scanRequest.setStartRow(#_445);
scanRequest.setStartRow(#_446);
scanRequest.setCaching(1000);
scanRequest.setFilter(filterListForAmounts);

Буду признателен, если кто-то может помочь в оптимизации этого.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...