Архитектура ближней карты - PullRequest
0 голосов
/ 07 мая 2010

Глядя на http://www.nearmap.com/,

Просто интересно, можете ли вы приблизительно определить, сколько места необходимо для хранения изображений? (Ежемесячные городские фотокарты NearMap снимаются с разрешением 3 см, 5 см, 7,5 см или 10 см)

А какие системы / архитектура подходят для доставки этих данных / изображений? (скажем, вы не Google, и хотите реализовать это с нуля, что бы вы сделали?)

т. Будете ли вы хранить изображения в Hadoop и использовать apache / php / memcache для доставки и т. д.?

1 Ответ

0 голосов
/ 14 мая 2010

Довольно сложно оценить, сколько места требуется, не имея возможности определить степень сжатия. Проще говоря, если аэрофотоснимки домов хорошо сжимаются, это может существенно изменить объем данных, которые необходимо хранить.

Но в интересах математики мы можем попытаться выяснить, что требуется.

Итак, если каждый пиксель имеет размеры 3 см на 3 см, он покрывает 9 см ^ 2. Быстрый поиск в Википедии говорит нам, что Лондон составляет около 1700 км ^ 2, а при 10 млрд. См ^ 2 на км ^ 2 - 17 000 000 000 000 см ^ 2. Это означает, что нам нужно 1 888 888 888 888 пикселей, чтобы покрыть Лондон с разрешением 3 см. Помещение этого в байты, при 4 байтах на пиксель, составляет около 7000 ГиБ. Если вы получите сжатие 50%, это снизит его до 3500 ГБ для Лондона. Умножьте это на каждый город, который вы хотите охватить, чтобы получить представление о том, какой тип хранилища данных вам понадобится.

Доставить контент просто по сравнению с его сбором. Поскольку это неудобное параллельное решение, кластер без разделения ресурсов с соответствующим интерфейсом для маршрутизации трафика на нужные узлы, вероятно, будет самым простым способом его реализации. Это потому, что узлы не должны поддерживать состояние или общаться друг с другом. Идеальный метод будет зависеть от того, сколько данных вы продвигаете, если вы продвигаете достаточно данных, возможно, стоит внедрить собственный веб-сервер, который просто отвечает на HTTP GET.

Я не уверен, что распределенная ФС будет лучшим способом для распределения вещей, поскольку вам придется потратить значительное количество времени, пытаясь получить данные из другого места в кластере.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...