FIWARE Проверка QuantumLeap не удалась: QuantumLeap не может получить измененные данные от Orion - PullRequest
Новая
       71

FIWARE Проверка QuantumLeap не удалась: QuantumLeap не может получить измененные данные от Orion

0 голосов
/ 03 мая 2020

Я проверял QuantLeap Sanity Check как в virtualMachine (virtualBox с Ubuntu), так и на производственном сервере (CentOS). С тем же docker -compose.yml проверка работоспособности прошла успешно на virtualManchine, но не удалась на производственном сервере, это действительно странно, кто-нибудь может мне помочь? Большое спасибо. @ Джейсон Фокс

Шаги проверки работоспособности выполняются как https://quantumleap.readthedocs.io/en/latest/admin/check/, я вставил ниже.

Разница в результатах только на шаге 7. На virtualMachine я могу получить обновленные данные из QuantLeap: 

{
  "attrName": "precipitation",
  "entityId": "air_quality_observer_be_001",
  "index": [
    "2020-05-03T11:18:14.000",
    "2020-05-03T11:18:55.000"
  ],
  "values": [
    0.0,
    100.0
  ]
}

Но на рабочем сервере результат будет: 

{
  "description": "No records were found for such query.",
  "error": "Not Found"
}

Примечание:

  1. Эти команды на этапах проверки работоспособности копируются в терминал, поэтому опечаток не будет.

  2. разница в результатах только на шаге 7. Я удалил старые образы как на virtualMachine, так и на производственном сервере, чтобы получить последние изображения.

  3. основанная на fiware система (orion, mongoDB, IoTAgents, quantLeap, CrateDB, Grafana) работала на рабочем сервере, и все было в порядке. Но через неделю go жесткий диск на сервере был переполнен и все контейнеры не работают. Я очистил несколько огромных файлов журнала и освободил немного места, затем я включил систему fiware-base и обнаружил, что на Grafana не отображаются данные. После проверки я обнаружил, что причина в том, что QuantumLeap не сохраняет данные в crateDB, но я не уверен, что причиной root является orion или QuantLeap. Поэтому я решил провести проверку работоспособности в соответствии с предложенными в Quantum Leap документами. Это история.

  4. Кстати, подписку на QuantLeap можно получить от orion, но я не могу получить измененные данные из QuantLeap. Почему новейшие измененные данные не синхронизируются с QuantLeap?

Шаги проверки работоспособности:

1.Проверить версию Orion 

curl -X GET http://0.0.0.0:1026/version -H 'Accept: application/json'

2.Проверить версию QuantumLeap 

curl -X GET http://0.0.0.0:8668/version -H 'Accept: application/json'

3.Создать подписку Orion для «QuantumLeap» 

curl -X POST \
'http://0.0.0.0:8668/v2/subscribe?orionUrl=http://orion:1026/v2&quantumleapUrl=http://quantumleap:8668/v2&entityType=AirQualityObserved' \
-H 'Accept: application/json'

4.Проверить вашу кошку, чтобы получить такую ​​подписку от Orion 

curl -X GET http://0.0.0.0:1026/v2/subscriptions \
-H 'Accept: application/json'

5.Вставить объект AirQualityObserved в Орион 

curl -X POST \
'http://0.0.0.0:1026/v2/entities?options=keyValues' \
-H 'Accept: application/json' \
-H 'Content-Type: application/json' \
-d '{
    "id": "air_quality_observer_be_001",
    "type": "AirQualityObserved",
    "address": {
        "streetAddress": "IJzerlaan",
        "postOfficeBoxNumber": "18",
        "addressLocality": "Antwerpen",
        "addressCountry": "BE"
    },
    "dateObserved": "2017-11-03T12:37:23.734827",
    "source": "http://testing.data.from.smartsdk",
    "precipitation": 0,
    "relativeHumidity": 0.54,
    "temperature": 12.2,
    "windDirection": 186,
    "windSpeed": 0.64,
    "airQualityLevel": "moderate",
    "airQualityIndex": 65,
    "reliability": 0.7,
    "CO": 500,
    "NO": 45,
    "NO2": 69,
    "NOx": 139,
    "SO2": 11,
    "CO_Level": "moderate",
    "refPointOfInterest": "null"
}'

6. Обновите значение осадков той же сущности в Орионе. 

curl -X PATCH \
http://0.0.0.0:1026/v2/entities/air_quality_observer_be_001/attrs \
-H 'Accept: application/json' \
-H 'Content-Type: application/json' \
-d '{
    "precipitation": {
    "value": 100,
    "type": "Number"
    }
}'

7. Запросите измененную запись осадков из QuantLeap для той же сущности. 

curl -X GET \
'http://0.0.0.0:8668/v2/entities/air_quality_observer_be_001/attrs/precipitation?type=AirQualityObserved' \
-H 'Accept: application/json'

Части docker -compose.yml: 

orion:
    image: fiware/orion
    hostname: orion
    container_name: fiware-orion
    depends_on:
      - mongo-db
    expose:
      - "1026"
    ports:
      - "1026:1026"
    networks:
      - default
    command: -dbhost mongo-db -logLevel ERROR -corsOrigin __ALL
mongo-db:
    image: mongo:3.6
    hostname: mongo-db
    container_name: db-mongo
    expose:
      - "27017"
    ports:
      - "27017:27017"
    networks:
      - default
    command: --bind_ip_all --smallfiles
    volumes:
      - mongo-db:/data
cratedb:
    image: crate:3.1.2
    hostname: cratedb
    container_name: db-crate
    expose:
      - "4200"
      - "4300"
      - "5432"
    ports:
      - "4200:4200"
      - "4300:4300"
      - "5432:5432"
    networks:
      - default
    command: -Ccluster.name=democluster -Chttp.cors.enabled=true -Chttp.cors.allow-origin="*"
    volumes:
      - crate-db:/data
quantumleap:
    image: smartsdk/quantumleap
    hostname: quantumleap
    container_name: fiware-quantumleap
    expose:
      - "8668"
    ports:
      - "8668:8668"
    depends_on:
      - cratedb
    environment:
      - CRATE_HOST=cratedb # host name of CrateDB

НЕ решены, но имеют небольшую подсказку.

Я получил какой-то журнал от QuantelLeap. В квантовом клиенте есть клиент для ящиков, и причина может заключаться в том, что клиент в ящике в квантовом компьютере не работает должным образом.

Я вставляю журнал здесь: 

crate.client.exceptions.ProgrammingError: SQLActionException[ClusterBlockException: blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];]
172.18.1.1 - - [04/May/2020 17:00:33] "POST /v2/notify HTTP/1.1" 500 -
INFO:werkzeug:172.18.1.1 - - [04/May/2020 17:00:33] "POST /v2/notify HTTP/1.1" 500 -
INFO:translators.factory:Backend selected for tenant 'iothouse' is: crate
ERROR:app:Exception on /v2/notify [POST]
Traceback (most recent call last):
  File "/usr/local/lib/python3.6/site-packages/flask/app.py", line 2446, in wsgi_app
    response = self.full_dispatch_request()
  File "/usr/local/lib/python3.6/site-packages/flask/app.py", line 1951, in full_dispatch_request
    rv = self.handle_user_exception(e)
  File "/usr/local/lib/python3.6/site-packages/flask/app.py", line 1820, in handle_user_exception
    reraise(exc_type, exc_value, tb)
  File "/usr/local/lib/python3.6/site-packages/flask/_compat.py", line 39, in reraise
    raise value
  File "/usr/local/lib/python3.6/site-packages/flask/app.py", line 1949, in full_dispatch_request
    rv = self.dispatch_request()
  File "/usr/local/lib/python3.6/site-packages/flask/app.py", line 1935, in dispatch_request
    return self.view_functions[rule.endpoint](**req.view_args)
  File "/usr/local/lib/python3.6/site-packages/connexion/decorators/decorator.py", line 48, in wrapper
    response = function(request)
  File "/usr/local/lib/python3.6/site-packages/connexion/decorators/uri_parsing.py", line 143, in wrapper
    response = function(request)
  File "/usr/local/lib/python3.6/site-packages/connexion/decorators/validation.py", line 172, in wrapper
    response = function(request)
  File "/usr/local/lib/python3.6/site-packages/connexion/decorators/validation.py", line 347, in wrapper
    return function(request)
  File "/usr/local/lib/python3.6/site-packages/connexion/decorators/parameter.py", line 126, in wrapper
    return function(**kwargs)
  File "/src/ngsi-timeseries-api/src/reporter/reporter.py", line 189, in notify
    trans.insert(payload, fiware_s, fiware_sp)
  File "/src/ngsi-timeseries-api/src/translators/crate.py", line 189, in insert
    fiware_servicepath)
  File "/src/ngsi-timeseries-api/src/translators/crate.py", line 297, in _insert_entities_of_type
    self.cursor.executemany(stmt, entries)
  File "/usr/local/lib/python3.6/site-packages/crate/client/cursor.py", line 67, in executemany
    self.execute(sql, bulk_parameters=seq_of_parameters)
  File "/usr/local/lib/python3.6/site-packages/crate/client/cursor.py", line 54, in execute
    bulk_parameters)
  File "/usr/local/lib/python3.6/site-packages/crate/client/http.py", line 328, in sql
    content = self._json_request('POST', self.path, data=data)
  File "/usr/local/lib/python3.6/site-packages/crate/client/http.py", line 448, in _json_request
    _raise_for_status(response)
  File "/usr/local/lib/python3.6/site-packages/crate/client/http.py", line 187, in _raise_for_status
    error_trace=error_trace)

1 Ответ

1 голос
/ 05 мая 2020

решаемая. Причина root находится в crateDB. Когда жесткий диск исчерпан, crateDB не работает, и каждая таблица настроена только для чтения. Блоки только для чтения не удаляются автоматически из таблиц даже после освобождения дискового пространства и превышения порога.

Все в порядке после того, как я установил флаг readonly в false с помощью следующей команды в crateDB: 

SHOW CREATE TABLE <tableName>;
ALTER TABLE <tableName> SET ("blocks.read_only_allow_delete" = FALSE);
...