Как подключить реляционную базу данных в Glue ETL / Spark, используя ODBC-коннектор

Question

Мне нужно получить данные из RDBMS, используя ODBC Connector в экосистеме AWS.AWS Glue не обеспечивает ODBC Connection.Как я могу связать свой код зажигания с реляционной БД, используя драйвер ODBC в свече.

Я пробовал sqoop с EMR.Но это также не обеспечивает ODBC-соединение.Тогда я попробовал с искрой.Но я все еще не могу найти решение по этому поводу.

Необходимо подключить реляционную базу данных в спарк с помощью драйвера ODBC

Answer 1

Я использовал pymysql в качестве zip-файла, добавил его в свою работу с AWS Glue.Затем я импортировал библиотеку pymysql в свой клей AWS.Надеюсь, что вы можете следовать аналогичным для вашей соответствующей РСУБД.Поскольку информация не полностью доступна, я предполагаю, что вы хотели бы читать / писать в rdbms.Ниже приведен пример кода, который я использовал для подключения к своему AWS RDS.

import pymysql

rds_host  = "rds.url.aaa.us-west-2.rds.amazonaws.com"
name = "username"
password = "userpwd"
db_name = "dbname"
conn = pymysql.connect(rds_host, user=name, passwd=password, db=db_name, connect_timeout=5)

with conn.cursor() as cur:
    cur.execute("select * from your table query)
    result = cur.fetchall()
    for row in result:
       print("Column1 value=>: ", row[0])
    conn.commit()
    cur.close()

Дайте мне знать, если вам нужны дальнейшие указания, если это то, что вы ищете.