pio train завершается неудачно с IOException: сброс соединения по пиру - PullRequest
Новая
       25

pio train завершается неудачно с IOException: сброс соединения по пиру

1 голос
/ 03 мая 2019

Я выполнил настройкуpretionIO v0.13 на моем компьютере с Linux в Docker (работает в режиме роя). Эта настройка включает в себя:

  • один контейнер для pio v0.13
  • один контейнер дляasticsearch v5.6.4
  • один контейнер для mysql v8.0.16
  • один контейнер для spark-master v2.3.2
  • один контейнер для spark-worker v2.3.2

Я использую шаблон ecomm-Recommender-Java, модифицированный для моих данных. Я не знаю, сделал ли я ошибку с шаблоном или с настройкой докера, но что-то действительно не так:

  1. Построение pio завершено
  2. Поезд Пио терпит неудачу - с Исключение в потоке "main" java.io.IOException: сброс соединения по пиру

Из-за этого я приложил много усилий для входа в свой шаблон для различных точек, и вот что я нашел:

  • Поезд выходит из строя после вычисления модели. Я использую пользовательский класс Model для хранения модели логистической регрессии и различных индексов пользователей и продуктов.
  • Модель представляет собой PersistentModel. В методе сохранения я ставлю логирование после каждого шага. Они записываются в журнал, и я могу найти сохраненные результаты в томе подключенной док-станции, так что кажется, что сохранение также успешно, но после этого я получаю следующее исключение: 
[INFO] [Model] saving user index
[INFO] [Model] saving product index
[INFO] [Model] save done
[INFO] [AbstractConnector] Stopped Spark@20229b7d{HTTP/1.1,[http/1.1]}{0.0.0.0:4040}
Exception in thread "main" java.io.IOException: Connection reset by peer
    at sun.nio.ch.FileDispatcherImpl.read0(Native Method)
    at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39)
    at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223)
    at sun.nio.ch.IOUtil.read(IOUtil.java:197)
    at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380)
    at org.apache.predictionio.shaded.org.apache.http.impl.nio.reactor.SessionInputBufferImpl.fill(SessionInputBufferImpl.java:204)
    at org.apache.predictionio.shaded.org.apache.http.impl.nio.codecs.AbstractMessageParser.fillBuffer(AbstractMessageParser.java:136)
    at org.apache.predictionio.shaded.org.apache.http.impl.nio.DefaultNHttpClientConnection.consumeInput(DefaultNHttpClientConnection.java:241)
    at org.apache.predictionio.shaded.org.apache.http.impl.nio.client.InternalIODispatch.onInputReady(InternalIODispatch.java:81)
    at org.apache.predictionio.shaded.org.apache.http.impl.nio.client.InternalIODispatch.onInputReady(InternalIODispatch.java:39)
    at org.apache.predictionio.shaded.org.apache.http.impl.nio.reactor.AbstractIODispatch.inputReady(AbstractIODispatch.java:114)
    at org.apache.predictionio.shaded.org.apache.http.impl.nio.reactor.BaseIOReactor.readable(BaseIOReactor.java:162)
    at org.apache.predictionio.shaded.org.apache.http.impl.nio.reactor.AbstractIOReactor.processEvent(AbstractIOReactor.java:337)
    at org.apache.predictionio.shaded.org.apache.http.impl.nio.reactor.AbstractIOReactor.processEvents(AbstractIOReactor.java:315)
    at org.apache.predictionio.shaded.org.apache.http.impl.nio.reactor.AbstractIOReactor.execute(AbstractIOReactor.java:276)
    at org.apache.predictionio.shaded.org.apache.http.impl.nio.reactor.BaseIOReactor.execute(BaseIOReactor.java:104)
    at org.apache.predictionio.shaded.org.apache.http.impl.nio.reactor.AbstractMultiworkerIOReactor$Worker.run(AbstractMultiworkerIOReactor.java:588)
    at java.lang.Thread.run(Thread.java:748)

Я не могу найти больше релевантности ни в одном журнале, но есть вероятность, что я что-то упустил.

Я пытался играть с параметрами поезда следующим образом: pio-docker train -- --master local[3] --driver-memory 4g --executor-memory 10g --verbose --num-executors 3

  • игра с режимами зажигания (т. Е. --master local[1-3], и не предоставление этого для использования экземпляров в контейнерах докера)
  • играется с --driver-memory (от 4 до 10 г)
  • играется с --executor-memory (также от 4 до 10 г)
  • играется с номером --num-executors (от 1 до 3)

Так как большинство результатов поиска Google предлагают это. Моя главная проблема в том, что я не знаю, откуда это исключение и как его обнаружить.

Вот способ сохранения и метод, который может иметь отношение: 

    public boolean save(String id, AlgorithmParams algorithmParams, SparkContext sparkContext) {
        try {
            logger.info("saving logistic regression model");
            logisticRegressionModel.save("/templates/" + id + "/lrm");
            logger.info("creating java spark context");
            JavaSparkContext jsc = JavaSparkContext.fromSparkContext(sparkContext);
            logger.info("saving user index");
            userIdIndex.saveAsObjectFile("/templates/" + id + "/indices/user");
            logger.info("saving product index");
            productIdIndex.saveAsObjectFile("/templates/" + id + "/indices/product");
            logger.info("save done");
        } catch (IOException e) {
            e.printStackTrace();
        }
        return true;
    }

Жестко закодированный /templates/ - это монтируемый на док-станции том для pio, а также для spark.

Ожидаемый результат: поезд завершается без ошибок. Я рад поделиться более подробной информацией, если это необходимо, пожалуйста, попросите их, так как я не уверен, что может быть полезным здесь.

EDIT1 : включая docker-compose.yml 

version: '3'

networks:
    mynet:
        driver: overlay

services:

    elasticsearch:
        image: docker.elastic.co/elasticsearch/elasticsearch:5.6.4
        environment:
          - xpack.graph.enabled=false
          - xpack.ml.enabled=false
          - xpack.monitoring.enabled=false
          - xpack.security.enabled=false
          - xpack.watcher.enabled=false
          - cluster.name=predictionio
          - bootstrap.memory_lock=false
          - "ES_JAVA_OPTS=-Xms1g -Xmx1g"
        volumes:
          - pio-elasticsearch-data:/usr/share/elasticsearch/data
        deploy:
            replicas: 1
        networks:
            - mynet

    mysql:
        image: mysql:8
        command: mysqld --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci
        environment:
          MYSQL_ROOT_PASSWORD: somepass
          MYSQL_USER: someuser
          MYSQL_PASSWORD: someotherpass
          MYSQL_DATABASE: pio
        volumes:
          - pio-mysql-data:/var/lib/mysql
        deploy:
            replicas: 1
        networks:
            - mynet

    spark-master:
        image: bde2020/spark-master:2.3.2-hadoop2.7
        ports:
          - "8080:8080"
          - "7077:7077"
        volumes:
            - ./templates:/templates
        environment:
          - INIT_DAEMON_STEP=setup_spark
        deploy:
            replicas: 1
        networks:
            - mynet

    spark-worker:
        image: bde2020/spark-worker:2.3.2-hadoop2.7
        depends_on:
          - spark-master
        ports:
          - "8081:8081"
        volumes:
            - ./templates:/templates
        environment:
          - "SPARK_MASTER=spark://spark-master:7077"
        deploy:
            replicas: 1
        networks:
            - mynet

    pio:
        image: tamassoltesz/pio0.13-spark.230:1
        ports:
            - 7070:7070
            - 8000:8000
        volumes:
            - ./templates:/templates
        dns: 8.8.8.8
        depends_on:
          - mysql
          - elasticsearch
          - spark-master
        environment:
          PIO_STORAGE_SOURCES_MYSQL_TYPE: jdbc
          PIO_STORAGE_SOURCES_MYSQL_URL: "jdbc:mysql://mysql/pio"
          PIO_STORAGE_SOURCES_MYSQL_USERNAME: someuser
          PIO_STORAGE_SOURCES_MYSQL_PASSWORD: someuser
          PIO_STORAGE_REPOSITORIES_EVENTDATA_NAME: pio_event
          PIO_STORAGE_REPOSITORIES_EVENTDATA_SOURCE: MYSQL
          PIO_STORAGE_REPOSITORIES_MODELDATA_NAME: pio_model
          PIO_STORAGE_REPOSITORIES_MODELDATA_SOURCE: MYSQL
          PIO_STORAGE_SOURCES_ELASTICSEARCH_TYPE: elasticsearch
          PIO_STORAGE_SOURCES_ELASTICSEARCH_HOSTS: predictionio_elasticsearch
          PIO_STORAGE_SOURCES_ELASTICSEARCH_PORTS: 9200
          PIO_STORAGE_SOURCES_ELASTICSEARCH_SCHEMES: http
          PIO_STORAGE_REPOSITORIES_METADATA_NAME: pio_meta
          PIO_STORAGE_REPOSITORIES_METADATA_SOURCE: ELASTICSEARCH
          MASTER: spark://spark-master:7077 #spark master
        deploy:
            replicas: 1
        networks:
            - mynet

volumes:
    pio-elasticsearch-data:
    pio-mysql-data:

1 Ответ

0 голосов
/ 07 мая 2019

Я выяснил, в чем проблема: каким-то образом связь с эластичным поиском теряется во время долгого поезда.Это проблема докера, а не проблема предсказания.На данный момент я «решил» это, вообще не используя эластичный поиск.

Еще одна вещь, о которой я не знал: важно, куда вы положили свой --verbose в команду.Предоставление его так, как я делал изначально (например, pio train -- --driver-memory 4g --verbose), не оказывает / мало влияет на многословность ведения журнала.Правильный способ сделать это - pio train --verbose -- --driver-memory 4g, то есть до --.Таким образом я получил гораздо больше логов, из которых стало ясно происхождение проблемы.

...