Как связать планировщики из JDBC Adapter SchemaFactory? - PullRequest
Новая
       18

Как связать планировщики из JDBC Adapter SchemaFactory?

0 голосов
/ 14 мая 2019

Я расширил адаптер JDBC и использовал фабрику пользовательских схем конфигурации model.json с 1 исходной схемой и 2 производными схемами для добавления правил, и это сработало, правила выполнялись на исходной схеме во время планирования, но их конечный результат не был полученВыбранный как лучший вариант планировщиком вулкана, потому что это слишком дорого.Правила преобразовали RelNode для выполнения на 2 производных схемах.Более подробная информация приведена ниже и в коде.

1) Могу ли я указать планировщику Volcano игнорировать 1 из 3 схем, которые я прошел через пользовательский JDBC SchemaFactory?

Я хочу, чтобы анализатор работал с этим 1исходная схема, но планировщик никогда не должен предлагать оптимальный (самый дешевый) план в этой схеме (только 2 другие производные схемы).1 исходная схема всегда отображается 1-в-1 с другими 2 производными схемами, поэтому RelNode, который возвращает мое правило, всегда семантически эквивалентен, просто дороже (по соображениям безопасности).

2) Если это не сработает, как я могу вызвать HepPlanner вместо планировщика вулканов по умолчанию из SchemaFactory, установленного в model.json, поскольку это моя отправная точка?

Вы можете найтиВесь мой код на GitHub, я сделал его общедоступным, чтобы каждый мог иметь лучшую отправную точку с Calcite, чем я.

Вот ссылка: https://github.com/igrgurina/multicloud_rewriter

Calciteбиблиотека удивительна, но в нее действительно трудно войти, потому что в ней отсутствуют примеры и учебные пособия для общих задач.

В идеале, я бы хотел, чтобы HepPlanner выполнял мои правила, преобразующие их в семантически эквивалентные выражения, использующие 2 производные схемы вместо1 оригинальная схема (у меня есть правило, которое это делает), и затем планировщик Volcano оптимизирует это, используя только 2 производные схемы, не имея представления о том, что 1 оригинальная схема существует, по соображениям безопасности.

У меня нет 'Я нашел какие-либо разумные примеры, которые демонстрируют, как это сделать, поэтому любая помощь будет оценена (пожалуйста, неst ссылки на пример Druid, или веб-сайт Apache Calcite docs, я просматривал их тысячу раз).

1 Ответ

0 голосов
/ 15 мая 2019

Мне удалось сделать эту работу, используя Hook.PROGRAM и добавив мою пользовательскую программу, которая выполняет мои правила раньше всех остальных.

Поскольку Hook помечен как for testing and debugging only в Calcite библиотекеЯ бы сказал, что это не так, как должно быть, но сейчас у меня нет ничего лучше.

Вот краткое резюме с примером кода: 

public static class MultiCloudHookManager {
    private static final Program PROGRAM = new MultiCloudProgram();

    private static Hook.Closeable globalProgramClosable;

    public static void addHook() {
        if (globalProgramClosable == null) {
            globalProgramClosable = Hook.PROGRAM.add(program());
        }
    }

    private static Consumer<Holder<Program>> program() {
        return prepend(PROGRAM);
    }

    // this doesn't have to be in the separate program
    private static Consumer<Holder<Program>> prepend(Program program) { 
        return (holder) -> {
            if (holder == null) {
                throw new IllegalStateException("No program holder");
            }
            Program chain = holder.get();
            if (chain == null) {
                chain = Programs.standard();
            }
            holder.set(Programs.sequence(program, chain));
        };
    }
}

Затем MultiCloudHookManager используется в SchemaFactory, где вы просто вызываете метод MultiCloudHookManager.addHook().В этом случае MultiCloudHookManager.PROGRAM устанавливается на MultiCloudProgram, который просто выполняет набор правил в HepPlanner.

Для получения полной информации см. исходный код в репозитории GitHub .

Это решение взломано на основе другой библиотеки .

...