как подключиться к oracle базе из снежинки? - PullRequest
0 голосов
/ 20 апреля 2020

Мне нужно вытащить некоторые данные из oracle и обновить данные в виде снежинки. И, конечно же, размер данных составляет 5 ГБ. Есть ли процедура для подключения к базе данных oracle из снежинки? ИЛИ Нужно ли подключать их, используя язык программирования как python?

Ответы [ 3 ]

2 голосов
/ 20 апреля 2020

Вам нужно выгрузить данные из Oracle и загрузить в Snowflake, поскольку я не слышал об опциях «прямого подключения».

Я бы использовал SQL* Загрузчик для выгрузки, pu sh файлов в AWS S3 (или хранилище вашего облачного поставщика) и выдача команд Snowflake COPY INTO TABLE, это должно быть довольно просто.

0 голосов
/ 21 апреля 2020

В Snowflake нет эквивалента Oracle ссылкам на базы данных. Вам потребуется внешний процесс для перемещения данных с Oracle на S3. Затем вы можете настроить задачу Snowpipe для загрузки из S3 в Snowflake. См. Загрузка непрерывно с использованием Snowpipe для получения дополнительной информации.

0 голосов
/ 20 апреля 2020

Я бы предложил использовать python программирование для извлечения и загрузки данных из oracle в снежинку. Поскольку ваша таблица oracle обновляется ежедневно, пишите программу python, чтобы динамически генерировать оператор слияния для загрузки дополнительных данных из oracle в снежинку.

  • Snowflake поддерживает Java хранимую процедуру на основе сценариев так что вы можете использовать хранимую процедуру для динамического генерирования оператора слияния, передавая имя таблицы в качестве параметра, и вы можете вызвать его через python.
  • Первоначальная загрузка из oracle в снежинку может занять некоторое время, так как у вас есть 5 ГБ данных из Ваша исходная система.

Надеюсь, это поможет!

Большое спасибо, Шрига

...