Я использую pgbouncer-rr для перезаписи запросов в кластере красных смещений (pgbouncer вызывает rewrite_query.py для переписывания, и вот ссылка для получения дополнительной информации об этом проекте - https://github.com/awslabs/pgbouncer-rr-patch). На основе Pgbouncer-rrна pgbouncer и его код объединен с pgbouncer и запущен. Я успешно использую его для перезаписи запросов, но у меня возникает проблема, когда я пытаюсь преобразовать оператор вставки в unload во внешнюю таблицу.
Поток выполнения pgbouncer -> rewrite.c -> pycall.c -> rewrite_query.py
В модуле python я пишу orig и преобразовал sql, и вот как это выглядит в журнале - так модуль pythonможет выполнить преобразование без каких-либо проблем.
06:03:35AM on January 31, 2019 ---- INSERT INTO nm1(c1) select c1 from t
06:03:35AM on January 31, 2019 ---- CONVERTED TO:
06:03:35AM on January 31, 2019 ---- unload (' SELECT c1 FROM t' ) to 's3://mybucket/nm1/' iam_role 'arn:aws:iam::99999:role/RedshiftDefaultRole,arn:aws:iam::99999:role/RedshiftWriteAccess' ALLOWOVERWRITE ; insert into schema1.nm1_decoy select (1) from x.nm1;
Но когда вы видите журнал pgbouncer, запрос возвращается без изменений.
2019-01-31 06:28:20.980 989 NOISE C-0x22ebe60: dev/dbuser@10.10.10.10:57222 pkt='Q' len=42
2019-01-31 06:28:20.980 989 DEBUG C-0x22ebe60: dev/dbuser@10.10.10.10:57222 rewrite_query: Username => dbuser
2019-01-31 06:28:20.980 989 DEBUG C-0x22ebe60: dev/dbuser@10.10.10.10:57222 rewrite_query: Orig Query=> INSERT INTO nm1(c1) select c1 from t
2019-01-31 06:28:21.011 989 WARNING C-0x22ebe60: dev/dbuser@10.10.10.10:57222 pValue right after the call PyString_AsString(pValue): unload (' SELECT c1 FROM t' ) to 's3:
//mybucket/nm1/' iam_role 'arn:aws:iam::99999:role/RedshiftDefaultRole,arn:aws:iam::99999:role/RedshiftWriteAccess' ALLOWOVERWRITE ; insert into schema1.nm1_decoy select (1) from crm_unload.nm1;
2019-01-31 06:28:21.011 989 WARNING C-0x22ebe60: dev/dbuser@10.10.10.10:57222 Result after PyString_AsString(pValue) and in else NULL condition: (null)
2019-01-31 06:28:21.011 989 DEBUG C-0x22ebe60: dev/dbuser@10.10.10.10:57222 query unchanged
Вот код pgbouncer / src / pycall.c, который вызывает модуль rewrite_query.py для конвертации. Я не понимаю структуры данных C и как она взаимодействует с python, просто поставлю состояние log slog_errorдля отладки.По какой-то причине это выглядит как условие else для проверки PyString_Check (pValue).Почему проверка не проходит, когда pValue является строкой?Таким образом, в основном, вместо того, чтобы возвращать запрос на выгрузку, его возвратные операторы вставки после сбоя проверки if PyString_Check (pValue).
pValue = PyObject_CallObject(pFunc, pArgs);
slog_warning(client,"pValue right after the call PyString_AsString(pValue): %s", PyString_AsString(pValue));
if (pValue == NULL) {
slog_error(client, "Python Function <%s> failed to return a value",
py_function);
goto finish;
}
if (PyString_Check(pValue)) {
slog_warning(client,"PyStringCheck succeeded on rewrite query return value pValue.");
res = strdup(PyString_AsString(pValue));
slog_warning(client,"Result after PyString_AsString(pValue) and strdup() call: %s",res);
} else {
res = NULL;
slog_warning(client,"Result after PyString_AsString(pValue) and in else NULL condition: %s",res);
}