Geomesa BBOX Query не возвращает все результаты - PullRequest
0 голосов
/ 27 сентября 2019

Я играл с запросом BBOX Geomesa (используя HBase) на данные узла OSM.Я обнаружил, что для определенного региона geomesa не возвращает все узлы в ограничительной рамке.

Например, я запустил 3 запроса:

  1. BBOX (-122.0,47.4, -122.01, 47.5) - на выходе имеется 5477 уникальных функций
  2. BBOX (-122.0,47.5, -122.01,47.6) - на выходе имеется 9 879 уникальных функций
  3. BBOX (-122.0,47.4, -122.01,47,6) - Вывод имеет 13 374 уникальных свойства

Глядя в эти ограничивающие рамки, я думаю, что Feature Query 1 + Query 2 должен быть равен Query 3. Но на самом деле они не одинаковы.Грустная часть - суммирование Quer1 и Query2 имеет некоторые элементы, которых нет в самих данных Query 3.

Ниже приведено изображение после нанесения его на Кеплера.Может ли кто-нибудь помочь понять, в чем проблема и как найти основную причину этого?

Missing points in Query 3.

Я вижу ниже Исключение:

19/09/27 14:57:34 INFO RpcRetryingCaller: Call exception, tries=10, retries=35, started=38583 ms ago, cancelled=false, msg=java.io.FileNotFoundException: File not present on S3
    at com.amazon.ws.emr.hadoop.fs.s3.S3FSInputStream.read(S3FSInputStream.java:133)
    at java.io.BufferedInputStream.read1(BufferedInputStream.java:284)
    at java.io.BufferedInputStream.read(BufferedInputStream.java:345)
    at java.io.DataInputStream.read(DataInputStream.java:149)
    at org.apache.hadoop.hbase.io.hfile.HFileBlock.readWithExtra(HFileBlock.java:738)
    at org.apache.hadoop.hbase.io.hfile.HFileBlock$AbstractFSReader.readAtOffset(HFileBlock.java:1493)
    at org.apache.hadoop.hbase.io.hfile.HFileBlock$FSReaderImpl.readBlockDataInternal(HFileBlock.java:1770)
    at org.apache.hadoop.hbase.io.hfile.HFileBlock$FSReaderImpl.readBlockData(HFileBlock.java:1596)
    at org.apache.hadoop.hbase.io.hfile.HFileReaderV2.readBlock(HFileReaderV2.java:454)
    at org.apache.hadoop.hbase.io.hfile.HFileBlockIndex$BlockIndexReader.loadDataBlockWithScanInfo(HFileBlockIndex.java:269)
    at org.apache.hadoop.hbase.io.hfile.HFileReaderV2$AbstractScannerV2.seekTo(HFileReaderV2.java:651)
    at org.apache.hadoop.hbase.io.hfile.HFileReaderV2$AbstractScannerV2.seekTo(HFileReaderV2.java:601)
    at org.apache.hadoop.hbase.regionserver.StoreFileScanner.seekAtOrAfter(StoreFileScanner.java:302)
    at org.apache.hadoop.hbase.regionserver.StoreFileScanner.seek(StoreFileScanner.java:201)
    at org.apache.hadoop.hbase.regionserver.StoreScanner.seekScanners(StoreScanner.java:391)
    at org.apache.hadoop.hbase.regionserver.StoreScanner.<init>(StoreScanner.java:224)
    at org.apache.hadoop.hbase.regionserver.HStore.getScanner(HStore.java:2208)
    at org.apache.hadoop.hbase.regionserver.HRegion$RegionScannerImpl.initializeScanners(HRegion.java:6112)
    at org.apache.hadoop.hbase.regionserver.HRegion$RegionScannerImpl.<init>(HRegion.java:6086)
    at org.apache.hadoop.hbase.regionserver.HRegion.instantiateRegionScanner(HRegion.java:2841)
    at org.apache.hadoop.hbase.regionserver.HRegion.getScanner(HRegion.java:2821)
    at org.apache.hadoop.hbase.regionserver.HRegion.getScanner(HRegion.java:2803)
    at org.apache.hadoop.hbase.regionserver.HRegion.getScanner(HRegion.java:2797)
    at org.apache.hadoop.hbase.regionserver.RSRpcServices.newRegionScanner(RSRpcServices.java:2697)
    at org.apache.hadoop.hbase.regionserver.RSRpcServices.scan(RSRpcServices.java:3012)
    at org.apache.hadoop.hbase.protobuf.generated.ClientProtos$ClientService$2.callBlockingMethod(ClientProtos.java:36613)
    at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:2380)
    at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:124)
    at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:297)
    at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:277)

1 Ответ

0 голосов
/ 27 сентября 2019

Я бы попробовал отключить «свободные ограничивающие рамки», как описано здесь .Если это не устраняет расхождение, отправьте отчет об ошибке на GeoMesa JIRA , в идеале с воспроизводимыми шагами.

Спасибо,

...