Подключение PySpark из док-контейнера к таблице кустов локального компьютера

Question

Я построил модель дерева решений с использованием Pyspark, и я хочу развернуть эту модель с помощью Docker-контейнера.Я использую спарк 1.6.0.Данные хранятся в таблицах Hive и находятся на моей локальной машине.Есть ли способ подключить PySpark из моего док-контейнера к таблицам кустов на моей локальной машине?

Данные в моих таблицах кустов могут обновляться, поэтому я не хочу монтировать диск или просто копировать папку из локальной в мой контейнер, но установить соединение между таблицами PySpark и Hive.

Answer 1

Если данные хранятся локально, вы все равно можете запустить Hive в док-контейнере и смонтировать локальную папку внутри контейнера Hive.

С помощью docker-compose вы можете легко связать контейнеры и получить доступ к Hive.сервер через localhost

Другой вариант - использовать --network="host" при запуске вашего контейнера PySpark, и он будет подключаться через сеть хоста.Возможно, это не то, что вам нужно из соображений безопасности, в зависимости от того, что вы делаете.

см. Внутри контейнера Docker, как мне подключиться к локальному хосту машины?