В настоящее время я работаю над созданием конвейера ETL для извлечения данных с сервера MS SQL (источник) и загрузки их в PostgreSQL (приемник), поскольку обе СУБД хранятся на GCP, я думаю, что могу использовать поток данных Google и теперь я пишу Apache Beam Script, используя Python, и планирую запустить его на runner потока данных.
Но, я считаю, что на данный момент Beam Python SDK не имеет встроенного преобразования для чтения / записи данных из / в базу данных, поэтому я использую лучи-самородки для справиться с этой проблемой, и у меня возникла проблема с чтением с сервера MS SQL, потому что самородки лучей могут читать только PostgreSQL, MySQL, SQLite (я считаю, что самородки лучей используют SqlAlchemy для связи с базой данных). Итак, есть ли какое-нибудь решение для чтения с сервера MS SQL (хранится в облаке SQL)? или, может быть, использовать другой способ вместо использования самородков? (дайте мне знать)