Проблема с интеграцией Cygnus и NGSI DynamoDB Sink - PullRequest
Новая
       95

Проблема с интеграцией Cygnus и NGSI DynamoDB Sink

1 голос
/ 16 марта 2020

Я следовал учебнику в https://fiware-tutorials.readthedocs.io/en/latest/historic-context-flume/index.html

Git репо: https://github.com/FIWARE/tutorials.Historic-Context-Flume.git

Я могу упорствовать данные из Cygnus в MongoDB, PostgreSQL DB и MySQL DB. Мне нужно сохранить данные от Cygnus до DynamoDB. Может ли кто-нибудь помочь мне предоставить правильную конфигурацию docker для Orion Context Broker, Cygnus (Common и NGSI) и NGSI DynamoDB Sink, а также образец формата данных контекста и соответствующий формат запроса POST подписки? Таким образом, я вижу автоматически созданную таблицу DynamoDB, и изменения данных контекста отражаются в таблице DynamoDB после развертывания их docker изображений и публикации данных контекста в Broker.

Журналы Cygnus: 

{
    "success": "true",
    "loggers": "[{"name":"org.apache.zookeeper","level":"WARN"},{"name":"org.apache.kafka","level":"WARN"},{"name":"org.mortbay","level":"WARN"},{"name":"org.apache.hadoop","level":"WARN"},{"name":"org.apache.http","level":"WARN"},{"name":"org.apache.avro.ipc.NettyTransceiver","level":"WARN"},{"name":"org.apache.flume.lifecycle","level":"WARN"},{"name":"org.mongodb","level":"WARN"},{"name":"org.I0Itec","level":"WARN"},{"name":"com.amazonaws","level":"WARN"},{"name":"org.jboss","level":"WARN"}]"
}

Статистика Cygnus-DB: 

{
    "success": "true",
    "stats": {
        "sources": [
            {
                "name": "http-source",
                "status": "START",
                "setup_time": "2020-03-19T06:41:52.712Z",
                "num_received_events": 992,
                "num_processed_events": 991
            }
        ],
        "channels": [
            {
                "name": "orion-channel",
                "status": "START",
                "setup_time": "2020-03-19T06:42:05.493Z",
                "num_events": 0,
                "num_puts_ok": 991,
                "num_puts_failed": 0,
                "num_takes_ok": 991,
                "num_takes_failed": 1498
            },
            {
                "name": "mongo-channel",
                "status": "START",
                "setup_time": "2020-03-19T06:41:53.532Z",
                "num_events": 983,
                "num_puts_ok": 991,
                "num_puts_failed": 0,
                "num_takes_ok": 8,
                "num_takes_failed": 95
            },
            {
                "name": "postgresql-channel",
                "status": "START",
                "setup_time": "2020-03-19T06:41:53.533Z",
                "num_events": 172,
                "num_puts_ok": 991,
                "num_puts_failed": 0,
                "num_takes_ok": 819,
                "num_takes_failed": 97
            },
            {
                "name": "mysql-channel",
                "status": "START",
                "setup_time": "2020-03-19T06:41:53.573Z",
                "num_events": 0,
                "num_puts_ok": 991,
                "num_puts_failed": 0,
                "num_takes_ok": 991,
                "num_takes_failed": 1497
            },
            {
                "name": "dynamo-channel",
                "status": "START",
                "setup_time": "unknown",
                "num_events": -1,
                "num_puts_ok": -1,
                "num_puts_failed": -1,
                "num_takes_ok": -1,
                "num_takes_failed": -1
            }
        ],
        "sinks": [
            {
                "name": "dynamo-sink",
                "status": "START",
                "setup_time": "2020-03-19T06:41:52.779Z",
                "num_processed_events": 991,
                "num_persisted_events": 991
            },
            {
                "name": "mongo-sink",
                "status": "START",
                "setup_time": "2020-03-19T06:41:52.799Z",
                "num_processed_events": 8,
                "num_persisted_events": 0
            },
            {
                "name": "postgresql-sink",
                "status": "START",
                "setup_time": "2020-03-19T06:41:52.825Z",
                "num_processed_events": 819,
                "num_persisted_events": 0
            },
            {
                "name": "mysql-sink",
                "status": "START",
                "setup_time": "2020-03-19T06:41:52.841Z",
                "num_processed_events": 991,
                "num_persisted_events": 991
            },
            {
                "name": "orion-sink",
                "status": "START",
                "setup_time": "2020-03-19T06:41:52.867Z",
                "num_processed_events": 991,
                "num_persisted_events": 0
            }
        ]
    }
}
...