Недавно я начал использовать Scribe, решение Facebook для передачи и сбора данных журналов с разных серверов.
Что я не смог найти, так это то, как Facebook хранит огромные объемы данных журнала, которые он получает (согласно презентации это было 25 ТБ в день в 2009 году).
Опубликовал ли Facebook информацию о том, как они это делают? Hadoop HDFS? Cassandra