Мой проект переключается с scala / spark на drools для проверки правил, но я никогда раньше не использовал drools, может кто-нибудь помочь мне ответить на следующие вопросы:
- У нас есть около миллиона записей в таблице кустов, и около 800 столбцов с таким количеством данных, есть ли хорошее решение для производительности, чтобы слюни могли работать без сбоев памяти?
- Поскольку данные все еще находятся в таблице кустов, поэтому нам все равно нужно будет использовать scala / spark для получения записей, а затем передавать их в слюны, но с таким количеством данных я думаю разделить эти данные на несколько разделы, и каждый канал в слюни подает каждый раздел в большем цикле, это хороший способ сделать это? Или я должен поместить все данные в один список и передать их в слюни? Это приведет к поломке программы?
- После проверки в drools нам нужно записать результаты в выходную таблицу, но какой способ лучше? Вернуть обратно в код scala, который вызывает drools, и позволить ему записать в таблицу кустов или напрямую записать в таблицу DB2 внутри drools, вызвав какой-то статический метод с Java jdbc? Меня беспокоит то, что если я записываю небольшой пучок данных в куст для каждого цикла (скажем, если мы разбили данные на меньшие списки), это приведет к созданию слишком большого количества файлов для хранения данных, но если запись данных непосредственно в DB2 приведет к их сносу будет вставлять только одну запись каждый раз, и время выполнения будет больше.
Это общие вопросы, которые у меня есть, так как я только начал работать над POC решения, поэтому я надеюсь, что кто-то с подобным опытом может дать мне несколько советов по этому вопросу.