Сбор и обработка данных, зарегистрированных на сервере писцов Facebook - PullRequest
0 голосов
/ 06 марта 2012

Я установил и настроил сервер Facebook Scribe (https://github.com/facebook/scribe). Теперь я должен собрать и обработать зарегистрированные данные в некотором хранилище. Scribe записывает данные в файлы и вращать их, т.е.

/tmp/scribetest/category/category_0000
/tmp/scribetest/category/category_...
/tmp/scribetest/category/category_current -> /tmp/scribetest/category/category_0000

Мой вопросвот как я могу прочитать данные из файлов писца и вывести их в базу данных? Я могу подумать о нескольких возможных подходах: 1. Скопируйте файлы category_ *, за исключением category_current, в другую папку, скажем

/tmp/dump/category/category_0000
/tmp/dump/category/category_...

Затем прочитайтестрока за строкой всех файлов и вставьте его в базу данных 2. Имейте поддерживающий скрипт, который принимает ввод и канал в tail -f category_current. Я не пробовал этот подход, но мне интересно, что происходит, когда category_current изменяется и указывает на новый файл.Может ли tail -f по-прежнему собирать новые строки?

По сути, я не уверен, каков наилучший способ сбора данных, и помню последние данные, которые я собрал из файлов журналов писцов.

...