Запуск Cloudera на Docker на WSL - PullRequest
Новая
       155

Запуск Cloudera на Docker на WSL

0 голосов
/ 04 августа 2020

Я пытаюсь запустить cloudera в кластере docker -compose. Yaml выглядит так: 

cloudera:
    image: cloudera/quickstart:latest
    hostname: cloudera
    privileged: true
    command: /usr/bin/docker-quickstart
    expose:
      - "8020" # 
      - "8888" # 
      - "9083" # 
      - "10000" # hive jdbc
      - "50070" # nn http
    ports:
      - "8888:8888"
    tty: true
    stdin_open: true
    command: bash -c "/usr/bin/docker-quickstart"

Когда я запускаю dock-compose up. он молча завершает работу с 139. Используя подробное описание, я смог получить следующее, что, насколько я понимаю, все еще не очень полезно: 

docker-compose --verbose start cloudera
compose.config.config.find: Using configuration files: ./docker-compose.yml
docker.utils.config.find_config_file: Trying paths: ['/home/user1/.docker/config.json', '/home/user1/.dockercfg']
docker.utils.config.find_config_file: Found file at path: /home/user1/.docker/config.json
docker.auth.load_config: Found 'credsStore' section
urllib3.connectionpool._make_request: http://localhost:None "GET /v1.22/version HTTP/1.1" 200 875
compose.cli.command.get_client: docker-compose version 1.25.5, build 8a1c60f6
docker-py version: 4.1.0
CPython version: 3.7.5
OpenSSL version: OpenSSL 1.1.0l  10 Sep 2019
compose.cli.command.get_client: Docker base_url: http+docker://localhost
compose.cli.command.get_client: Docker version: Platform={'Name': 'Docker Engine - Community'}, Components=[{'Name': 'Engine', 'Version': '19.03.8', 'Details': {'ApiVersion': '1.40', 'Arch': 'amd64', 'BuildTime': '2020-03-11T01:29:16.000000000+00:00', 'Experimental': 'false', 'GitCommit': 'afacb8b', 'GoVersion': 'go1.12.17', 'KernelVersion': '4.19.104-microsoft-standard', 'MinAPIVersion': '1.12', 'Os': 'linux'}}, {'Name': 'containerd', 'Version': 'v1.2.13', 'Details': {'GitCommit': '7ad184331fa3e55e52b890ea95e65ba581ae3429'}}, {'Name': 'runc', 'Version': '1.0.0-rc10', 'Details': {'GitCommit': 'dc9208a3303feef5b3839f4323d9beb36df0a9dd'}}, {'Name': 'docker-init', 'Version': '0.18.0', 'Details': {'GitCommit': 'fec3683'}}], Version=19.03.8, ApiVersion=1.40, MinAPIVersion=1.12, GitCommit=afacb8b, GoVersion=go1.12.17, Os=linux, Arch=amd64, KernelVersion=4.19.104-microsoft-standard, BuildTime=2020-03-11T01:29:16.000000000+00:00
compose.cli.verbose_proxy.proxy_callable: docker inspect_network <- ('project3_default')
urllib3.connectionpool._make_request: http://localhost:None "GET /v1.22/networks/project3_default HTTP/1.1" 200 1716
compose.cli.verbose_proxy.proxy_callable: docker inspect_network -> {'Attachable': False,
 'ConfigFrom': {'Network': ''},
 'ConfigOnly': False,
 'Containers': {'1d5c500c0e0ad94b0c66a4ff9524bfcfe1323c762a4b63444a66822b12e5c60c': {'EndpointID': 'ba49e9233aa1f4cba2ba6569fa36514b7e0cb412fef92e1c0755e35aac3adfb0',
                                                                                     'IPv4Address': '172.18.0.5/16',
                                                                                     'IPv6Address': '',
                                                                                     'MacAddress': '02:42:ac:12:00:05',
                                                                                     'Name': 'project3_zookeeper_1'},
                '2dc3c508b4c8fb6bb8163c968179185c5e1a3b753f08a6ab3c31b0d802ee9a54': {'EndpointID': '2355f170495a5762deb7445f632b68a1e691992816d3ff92d888332540a9d940',
                                                                                     'IPv4Address': '172.18.0.6/16',
...
Starting cloudera ...
compose.parallel.feed_queue: Pending: {<Service: cloudera>}
compose.parallel.feed_queue: Starting producer thread for <Service: cloudera>
compose.cli.verbose_proxy.proxy_callable: docker containers <- (all=True, filters={'label': ['com.docker.compose.project=project3', 'com.docker.compose.service=cloudera', 'com.docker.compose.oneoff=False']})
urllib3.connectionpool._make_request: http://localhost:None "GET /v1.22/containers/json?limit=-1&all=1&size=0&trunc_cmd=0&filters=%7B%22label%22%3A+%5B%22com.docker.compose.project%3Dproject3%22%2C+%22com.docker.compose.service%3Dcloudera%22%2C+%22com.docker.compose.oneoff%3DFalse%22%5D%7D HTTP/1.1" 200 1269
compose.cli.verbose_proxy.proxy_callable: docker containers -> (list with 1 items)
compose.cli.verbose_proxy.proxy_callable: docker inspect_container <- ('3dd42eaab54bd0612e2ed19bcbda1db8e979edde763136e08869c37da2ef248e')
urllib3.connectionpool._make_request: http://localhost:None "GET /v1.22/containers/3dd42eaab54bd0612e2ed19bcbda1db8e979edde763136e08869c37da2ef248e/json HTTP/1.1" 200 None
compose.cli.verbose_proxy.proxy_callable: docker inspect_container -> {'AppArmorProfile': '',
 'Args': ['bash', '-c', '/usr/bin/docker-quickstart'],
 'Config': {'AttachStderr': False,
            'AttachStdin': False,
            'AttachStdout': False,
            'Cmd': ['bash', '-c', '/usr/bin/docker-quickstart'],
            'Domainname': '',
            'Entrypoint': ['/usr/bin/docker-entrypoint'],
            'Env': ['PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin'],
            'ExposedPorts': {'10000/tcp': {},
...
compose.cli.verbose_proxy.proxy_callable: docker start <- ('3dd42eaab54bd0612e2ed19bcbda1db8e979edde763136e08869c37da2ef248e')
compose.parallel.feed_queue: Pending: set()
compose.parallel.feed_queue: Pending: set()
compose.parallel.feed_queue: Pending: set()
compose.parallel.feed_queue: Pending: set()
urllib3.connectionpool._make_request: http://localhost:None "POST /v1.22/containers/3dd42eaab54bd0612e2ed19bcbda1db8e979edde763136e08869c37da2ef248e/start HTTP/1.1" 204 0
compose.cli.verbose_proxy.proxy_callable: docker start -> None
compose.parallel.parallel_execute_iter: Finished processing: <Service: cloudera>
compose.cli.verbose_proxy.proxy_callable: docker containers <- (all=False, filters={'label': ['com.docker.compose.project=project3', 'com.docker.compose.service=cloudera', 'com.docker.compose.oneoff=False']})
urllib3.connectionpool._make_request: http://localhost:None "GET /v1.22/containers/json?limit=-1&all=0&size=0&trunc_cmd=0&filters=%7B%22label%22%3A+%5B%22com.docker.compose.project%3Dproject3%22%2C+%22com.docker.compose.service%3Dcloudera%22%2C+%22com.docker.compose.oneoff%3DFalse%22%5D%7D HTTP/1.1" 200 1570
Starting cloudera ... done
compose.parallel.feed_queue: Pending: set()

Единственным признаком ошибки является то, что контейнер cloudera не запущен и на приборной панели написано, что он вышел с 139-м номером. Все остальные мои изображения работают нормально. Я повторно загрузил изображение et c. Но не помогло.

У кого-нибудь получился WSL -> docker -> cloudera работает?

1 Ответ

0 голосов
/ 04 августа 2020

Я сам не пробовал, так как размер изображения cloudera превышает 4 Гб, но можно ли запустить изображение, используя docker:

docker container run --rm -it -p 8888:8888 -p 8020:8020 -p 9083:9083 -p 10000:10000 -p 50070 --entrypoint bash cloudera/quickstart:latest /usr/bin/docker-quickstart

* 1005 те же проблемы?

Я также вижу многочисленные ссылки на http://localhost:None, вам не хватает конфигурации, поскольку None не является допустимым портом в моих книгах.

EDIT:

Вы используете linux / ubuntu docker -compose или exe в windows? which docker-compose должен сказать вам.

...