Создание файла RocksDB SST на Java для массовой загрузки - PullRequest
Новая
       23

Создание файла RocksDB SST на Java для массовой загрузки

1 голос
/ 10 ноября 2019

Я новичок в RocksDB и пытаюсь создать SST-файл на Java для массовой загрузки. Возможный вариант - создать его в Apache Spark.

Я использую rocksdbjni 6.3.6 в Ubuntu 18.04.03

Я получаю эту ошибку, 

org.rocksdb.RocksDBException: Keys must be added in order
    at org.rocksdb.SstFileWriter.put(Native Method)
    at org.rocksdb.SstFileWriter.put(SstFileWriter.java:104)
    at CreateSSTFile.main(CreateSSTFile.java:34)

Пример кода: 


 public static void main(String[] args) throws RocksDBException {
        RocksDB.loadLibrary();

        final Random random = new Random();


        final EnvOptions envOptions = new EnvOptions();
        final StringAppendOperator stringAppendOperator = new StringAppendOperator();
        Options options1 = new Options();
        SstFileWriter fw = null;
        ComparatorOptions comparatorOptions = new ComparatorOptions();

        try {

            options1 = options1
              .setCreateIfMissing(true)
              .setEnv(Env.getDefault())
              .setComparator(new BytewiseComparator(comparatorOptions));

            fw = new SstFileWriter(envOptions, options1);

            fw.open("/tmp/db/sst_upload_01");
            for (int index = 0; index < 1000; index++) {
                Slice keySlice = new Slice(("Key" + "_" + index).getBytes());
                Slice valueSlice = new Slice(("Value_" + index + "_" + random.nextLong()).getBytes());
                fw.put(keySlice, valueSlice);
            }

            fw.finish();
        } catch (RocksDBException ex) {
            ex.printStackTrace();
        } finally {
            stringAppendOperator.close();
            envOptions.close();
            options1.close();
            if (fw != null) {
                fw.close();
            }
        }
    }

Если индекс цикла меньше 10, файл успешно создан, и я смог его вписать в db.

Заранее спасибо.

1 Ответ

0 голосов
/ 10 ноября 2019

Я думаю, что обнаружил проблему с кодом.

Ключи должны быть в порядке для SST. То, как я делаю циклы и использую лексикографическое сравнение строк для упорядочения, приводит к неправильному упорядочению. Как сравнение «10» и «9» нарушит порядок. Вместо этого, если я сортирую все ключи перед вставкой в ​​файл SST, это работает. 

Map<String, String> data = new HashMap<>();
            for (int index = 0; index < 1000; index++) {
                data.put("Key-" + random.nextLong(), "Value-" + random.nextDouble());
            }

            List<String> keys = new ArrayList<String>(data.keySet());

            Collections.sort(keys);

            for (String key : keys) {
                Slice keySlice = new Slice(key);
                Slice valueSlice = new Slice(data.get(key));
                fw.put(keySlice, valueSlice);
            }

Когда я пытался использовать целочисленные ключи, я обнаружил проблему.

...