NTP обычно считается хорошим для небольших однозначных мс в такой ситуации.
После того, как он работал в течение нескольких дней, на самом деле не должно быть большого джиттера ни на одном из реальных часов, потому что ntpd реализует кучу очень длительной фильтрации с постоянным временем.
Однако вы на самом деле не говорите, как измеряете время, и какой бы механизм вы ни использовали, он может быть таким же нервным, как (если не больше, чем) основной синхронизации.
Если у вас занятая сеть и сетевые карты с очень глубокой буферизацией, то это может не помочь, поскольку дрожание между прибытием пакета и обработкой прерывания будет больше. Чем шире коммутация Ethernet, тем хуже для синхронизации - старомодные концентраторы в этом отношении лучше, чем коммутаторы.