Сопоставление AWS склеенных столбцов таблицы с целевыми столбцами таблицы экземпляра RDS - PullRequest
0 голосов
/ 08 апреля 2020
    i have created a glue job, that takes data from S3 bucket and insert into **RDS postgres instance**.

В корзине S3 я создал другую папку (раздел). Можно ли сопоставить разные столбцы в разных разделах одному и тому же целевому экземпляру RDS?

1 Ответ

0 голосов
/ 09 апреля 2020

Когда вы говорите, раздел в s3, это указано, используя стиль улья ?? например: bucket / folder1 / folder2 / partion1 = xx / partition2 = xx / partition3 = yy /..

Если это так, вам не следует хранить данные с различными структурами информации в разделах s3, а затем отображать их в один стол. Однако если это просто данные в разных папках, например, s3: // bucket / folder / folder2 / folder3 / .. и это действительно разные наборы данных, то да, можно сопоставить эти наборы данных с одной таблицей. Однако вы не можете сделать это через интерфейс. Вам нужно будет прочитать эти наборы данных как отдельные динамические фреймы / фреймы данных и соединить их с помощью ключа в glue / spark и загрузить их в rds

...