python-mysql в облаке DataFlowRunner?

Question

В настоящее время у меня есть некоторый код, который запрашивает MySQL.Я хотел бы запустить этот код как часть конвейера луча Apache в DataFlowRunner.Каждый раз, когда я пытаюсь интегрировать MysqlDB, работа зависает.Он отлично работает с DirectRunner и до того, как я добавил зависимости MySQLDB.

Вот мой setup.py

Я добавил комментарии к строкам, которые вызывают зависание DataFlowRunner.

Я пыталсязапуск примера wordcount только с зависимостью apt-get и pypi.

Ожидаемый результат - возможность добавлять MySQL deps и при этом запускать wordcount exampe.

Обновление: см. README о том, что я в итоге сделал.

Answer 1

Для всех, кто идет по этой кроличьей норе, просто используйте mysql + pymysql в качестве URL, если вы используете SQLAlchemy. Если вы не используете ORM, просто используйте pymysql.