Я не уверен, правильно ли я понял вашу проблему, но я предполагаю, что у вас есть несколько «заданий», которые могут выполняться одновременно, и хотите, чтобы они отображались на веб-странице независимо от того, завершены они или нет?
При запуске задания веб-страница (например, python & mod_wsgi) запускает скрипт python, который вводит задание, скажем, в базу данных sqlite, и запускает задание, когда задание завершается, скрипт обновляет запись для задание, чтобы оно было помечено как завершенное
Страница состояния будет просто показывать материал из sqlite.
То, что вы хотите поместить в БД в дополнение к идентификатору задания и, возможно, время начала / окончания, зависит от того, что вы хотите показать на веб-странице статуса задания
На sidenote - если "задания" являются компиляциями, встречайте Hudson