Панель инструментов для совместных проектов в области науки / обработки данных

Question

Серверы непрерывной интеграции, такие как Hudson, являются довольно удивительным дополнением к разработке программного обеспечения. Я работаю в академической исследовательской лаборатории, и я хотел бы применить аналогичные принципы к анализу научных данных. Мне нужно представление, похожее на панель мониторинга, какие коллекции данных хороши, какие не проходят тесты (в основном простые сценарии оболочки) и так далее. Очень похоже на Панель управления Chromium (ВНИМАНИЕ: загрузка страницы занимает много времени).

Требуется работа, по крайней мере, от 4 человек, и, возможно, 10 или 12 часов компьютерного времени, чтобы привести наши данные (из поведенческих исследований) из их необработанной формы в окончательную, легко анализируемую форму. Я пробовал Hudson и buildbot, но ни один из них не подходит для нашего рабочего процесса. Мы просто хотим провести несколько тестов, возможно, на пятидесяти независимых коллекциях предметных данных и красиво отобразить результаты.

SO! У кого-нибудь есть рекомендации, как легко сгенерировать такой отчет? Или, вы можете придумать хороший способ внедрить этот вид рабочего процесса в сервер непрерывной интеграции? Или вы можете порекомендовать приборную панель для юнит-тестирования, которая может работать с тестами, представляющими собой небольшие сценарии оболочки, а не маленькие функции?

Спасибо!

Answer 1

Я предполагаю, что ваши данные изменяются ежедневно, и, таким образом, вы хотите запускать те же тесты для новых пакетов данных только на основе.

Buildbot может запускать тесты, которые являются сценариями оболочки. Вам просто нужно написать немного Python для расширения Buildbot, чтобы это произошло. При этом, если вы не хотите использовать Buildbot или Hudson и просто хотите запускать свои тесты каждые 24 часа или около того, вы можете установить свои скрипты как задания cron или написать мастер-скрипт, который будет запускать все ваши тесты и устанавливать , что как задание cron. Учитывая, что вам, вероятно, придется написать что-то, что сгенерирует результаты вашего теста в HTML, если вы все равно захотите какую-то панель мониторинга, пусть ваш мастер-сценарий сгенерирует это и будет иметь Apache или Twistd или что-то еще.

В противном случае, я не знаю систем CI, которые будут работать по-другому, чем Buildbot или Hudson.

Answer 2

Оформить заказ https://my.infocaptor.com

Это может сработать для ваших нужд. Вы можете собирать информацию в электронной таблице Google, предварительно суммировать ее в своей базе данных или напрямую обращаться к ней

В качестве живого примера мы открыто отслеживаем наши собственные показатели на передней панели. Эта панель мониторинга собирает информацию из базы данных SAAS mysql и работает в режиме реального времени.

Существует множество встроенных адаптеров, и для пользовательских нужд вы можете написать скрипт на своем веб-сервере и затем связать его с infocaptor с помощью http post http://infocaptor.com/help/http_post.htm