Почему Tensorboard не обновляется при использовании с rsync?

Question

Я выполняю эксперимент с тензорным потоком на удаленной машине, непрерывно записывающей в один и тот же файл events.out.tfevents.xxx.Я ожидаю, что тензорная доска будет обновляться автоматически каждую минуту или около того, отображая новые журналы.Это работает при использовании sshfs для монтирования удаленной машины на моем ноутбуке и при использовании смонтированного каталога для запуска тензорной доски.

Однако при использовании rsync для копирования файлов и запуска тензорной доски в локальных файлах тензорная досканикогда не обновляет, я должен перезапустить его, чтобы получить обновления.

Это моя команда rsync:

rsync -aP --del -e ssh server_name:folder_on_server local_folder --exclude='*checkpoints*' --exclude='*.json' --exclude='*.DS_Store'

Любая помощь будет принята с благодарностью!

Answer 1

Это известная проблема с Tensorboard, посмотрите эту проблему на github.

Вот цитата из этой проблемы (выделено мое):

Похоже, что тензорная доска читает файл событий из локального каталога - она ​​ не заметит, чтофайл события был удален и воссоздан (что вполне допустимо, когда вы используете [...] rsync для синхронизации данных)

Один из способов - использовать --inplace в качестве опциив вашей команде rsync.