Это выглядит примерно так: Реализация Java Tail
По сути, вы используете BufferedReader. Отслеживание того, где вы остановились, будет чем-то, что вам нужно будет добавить, возможно, захватить последнюю прочитанную строку?
Тот же самый вопрос ссылается на JLogTailer , который выглядит интересным и может сделать большую часть того, что вы уже хотите.