лучший дизайн базы данных для веб-сканера - PullRequest
1 голос
/ 05 июля 2011

многие системы БД подходят для работы с веб-сканером, но есть ли какая-либо система БД, специально разработанная для веб-сканеров (в .net).

По моему опыту, сканер имеет много компонентов и служб, и каждая часть требует определенных функций.например, для кэширования веб-страниц нам понадобится нечто вроде FILESTREAM сервера sql.или чтобы проверить, существует ли URL в БД, лучше всего выбрать memcached .

на самом деле у меня есть 2 вопроса

1) с какими системами БД лучше всего работатьвеб-сканер?

2) существует ли система БД, которая охватывает все функции !!!!!!!!!?

Ответы [ 2 ]

1 голос
/ 05 июля 2011

К вашему сведению, Google не использует какой-либо рациональный движок базы данных, у них скорее есть проприетарная файловая система GFS и собственные абстракции постоянства данных.

Кто сказал вам, что memcached - лучший выбор? Учтите, что в случае, если объем данных равен BIIIG, вам не хватит памяти, за исключением, конечно, если у вас большой центр обработки данных и вы можете обмениваться данными между машинами в памяти ...

Я думаю, что это не лучший выбор, лучше всего, вероятно, Google, и они сделали большую часть своих вещей на дому.

если вы справляетесь с высоким уровнем (но все же не лучшим), я думаю, что все механизмы, такие как SQL Server, Oracle, mySQL и многие другие, могут работать хорошо, это зависит больше от того, как вы их используете и как вы разрабатываете свой решение.

0 голосов
/ 13 июля 2011

Google использует базу данных на основе столбцов BIGTABLE для хранения результатов поиска, а также для документов Google, других продуктов Google, созданных на основе GFS (файловой системы Google).Их дизайн, безусловно, лучший из известных мне.

Apache HBase похож на реализацию на Bigtable.HBase построен на основе HDFS (распределенной файловой системы Hadoop).

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...