192 дня на сборку плитки Европы - PullRequest
Новая
       8

192 дня на сборку плитки Европы

0 голосов
/ 30 августа 2018

Привет и спасибо за всю хорошую работу над OpenMapTiles.

Я пытаюсь строить плитки для Европы, Северной Америки, может быть, мира.

Я использую сценарий ./quickstart, и, как говорят, на сборку тайлов для Америки уходит 30 дней, а для Европы - 192 дня. Это выполняется на экземпляре c5d.18xlarge EC2 (70 ЦП, 180 ГБ ОЗУ, SSD-диски).

Я что-то упустил?

В настоящее время я пытаюсь использовать базу данных вне Docker (на локальном хосте), чтобы посмотреть, смогу ли я ускорить процесс ... но как вы, ребята, делаете?

Ответы [ 2 ]

0 голосов
/ 24 сентября 2018

Я использую это
https://github.com/mapbox/mbutil/blob/5e1ac74fdf7b0f85cfbbc245481e1d6b4d0f440d/patch

Это один из моих сценариев, я объединяю все это с tmp и проверяю, находится ли еще копия файла-копии в этом файле 

for i in *.mbtiles; do
    [ -f "$i" ] || break
    if [[ $i != *"final.mbtiles"* ]]; then
      if ! [[ `lsof -c /tilelive-copy/ $i` ]]; then
  exit=$(/usr/local/bin/merge_mbtiles.sh $i /tmp/final.mbtiles)
        echo $exit
        (( $rc )) && echo "merge failed $i" && exit 1
        echo "merge sucessfull"
      fi
    fi
done
0 голосов
/ 21 сентября 2018

Я также использую openmaptiles, и скорость очень сильно замедлилась после последних обновлений (все еще нужно выяснить, какие изменения вызвали это). Сценарий quickstart удобен для того, чтобы попытаться разобраться, в конце концов я начал писать сценарии, чтобы разделить и парализовать работу. Сейчас мы обрабатываем весь мир с увеличением 0-14 (быстро) и большую часть Европы с 14-18 (это занимает недели)

Попробуйте следующее:
* настройка postgres (по умолчанию плохо для больших баз данных)
* попробуйте разделить области и парализовать работу.

Вы можете видеть, что процесс рендеринга с использованием tilelive-copy на самом деле не использует все ядра. Весь процесс не настолько эффективен при использовании ресурсов. После нескольких попыток я понял, что одновременный запуск нескольких рабочих быстрее (в конце концов), чем чрезмерная загрузка вашего сервера с большей скоростью ядра процессора.

см. Также:
https://github.com/openmaptiles/openmaptiles/issues/462
https://github.com/mapbox/tilelive/issues/181

...