Ежедневно я запускаю процесс ELT каждые 20 минут (Talend), он требует несколько файлов ответов API REST (JSON) и некоторые другие поля JSON на сервере PostgreSQL.
Я работал с Talend, используя JPATH для извлечения и «выравнивания» строк, поэтому я получил CSV, который я могу свободно загружать в BQ.
Не думаю, что это лучший способ сделать это так, как я перебираю каналы как 2000 раз, чтобы убедиться, что все значения будут составлять строку в конечном файле, а затем обрезать значения NULL, чтобы просто загрузить значения с правильным значением. Это грязно и медленно.
Я всегда думал переключиться на облачный ETL (Stich, Fivetran, Xplenty, Alooma), но я не знаю, смогут ли эти инструменты сделать это или загрузить JSON в BQ.
Я также исследовал возможность загрузки JSON в виде строки в GQ и затем использовать SCALAR для получения необходимой мне информации в чистых строках KPI, но я не Не знаю, сработает ли это.
Формат JSON, который мне нужно загрузить, это не план, а какой-то ключ / значение, это так:
https://i.stack.imgur.com/3dgPs.png
(Увеличить «Свойства»)
https://i.stack.imgur.com/3dgPs.png
(Это тестовые данные, поэтому никакой реальной информации здесь нет, но все же некоторые тестовые электронные письма и имена были подвергнуты цензуре)
Примечание: я пытался связаться с ребятами из Alooma, электронная почта, LinkedIn, даже с некоторыми моими друзьями из Google, это невозможно, просто хочу попробовать их продукт или даже заплатить за него, они как ушли, когда Google купил их, они d ie?
(я кого-то заинтересовал, это образец e из 10 совпадений массива: https://www.codepile.net/pile/q2ypDOxQ)