Как использовать компонент Pivot в Clover DX - PullRequest
0 голосов
/ 25 января 2020

Невозможно использовать компонент сводки, пожалуйста, дайте мне знать, например, как использовать компоненты сводки и объединения в Clover etl

1 Ответ

0 голосов
/ 06 апреля 2020

Я всегда описываю Concatenate как очереди на посадку в аэропорту. У вас есть несколько очередей (ребер), во всех из них стоят люди (одни и те же записи, ie. Метаданные), все они забираются на 1) очередь (сначала армия, затем первый класс, экономика ...), и 2) порядок в очереди (кто стоит первым в очереди, идет первым, вторым, третьим ...)

Я не слишком часто использовал компонент Pivot, но я думаю, что это своего рода денормализованный компонент. У вас есть несколько простых записей (думаю ключ, пары значений из json или нет SQL базы данных) и вы хотите объединить их в одну широкую запись, где поля - это ключи входящих кортежей, значения - это значения из входящих записей. Это компонент группировки, используемый, когда у вас есть несколько записей для одного и того же группового ключа (например, customer_id) и вы хотите создать одну широкую запись со всеми доступными свойствами.

Я предпочитаю компонент Denormalize, поскольку он дает мне больше контроля, но он требует немного больше CTL, для более простых вещей вам может быть хорошо с Pivot.

Компонент Concatenate служит совершенно другому сценарию использования (сбор одинаковых записей из нескольких источников ввода - аналогичные компоненты SimpleGather, Merge), а затем Pivot ( преобразование простых записей в денормализованные, широкие однообразные компоненты (денормализатор).

...