Скорость импорта osm2pgsql очень низкая - PullRequest
Новая
       70

Скорость импорта osm2pgsql очень низкая

0 голосов
/ 09 июня 2019

Скорость импорта путей очень низкая с osm2pgsql.Мне нужны советы, как увеличить скорость импорта.

Настройка сервера 

6 Core Xenon
20 GB Ram
1400 GB SAS

Speedtest моего SAS-диска 

hdparm -tT /dev/sda2
/dev/sda2:
 Timing cached reads:   7492.82 MB/sec
SG_IO: 240.88 MB/sec

Скрипт импорта 

osm2pgsql --slim -r pbf -S mapfeatures_export.style -C 14000 -l --number-processes 5 -U osmdata --create --multi-geometry -d osmdatabase planet-190603.osm.pbf

вывод консоли osm2pgsql во время выполнения 

osm2pgsql version 0.96.0 (64 bit id space)

Using built-in tag processing pipeline
Using projection SRS 4326 (Latlong)
Setting up table: planet_osm_point
Setting up table: planet_osm_line
Setting up table: planet_osm_polygon
Setting up table: planet_osm_roads
Allocating memory for dense node cache
Allocating dense node cache in one big chunk
Allocating memory for sparse node cache
Sharing dense sparse
Node-cache: cache=14000MB, maxblocks=224000*65536, allocation method=11
Mid: pgsql, cache=14000
Setting up table: planet_osm_nodes
Setting up table: planet_osm_ways
Setting up table: planet_osm_rels

Reading in file: /home/osmdata/planet-190603.osm.pbf
Using PBF parser.
Processing: Node(5234820k 342.0k/s) Way(15203k 0.20k/s) Relation(0 0.00/s)

Я протестировал настройку SSD, где скорость импорта-импорта составляла 50 к / с, но это слишком дорого.

IПосле цепочки инструментов оптимизации от https://www.geofabrik.de/media/2012-09-08-osm2pgsql-performance.pdf

Надеюсь, есть некоторые дополнительные опции для настройки.

...