Я думаю, что ответ на этот вопрос сводится к доверию. Вы доверяете автору классов писать свои объекты таким образом, чтобы проблема, о которой вы упоминаете, не возникала? Если да, пойти на это. Если нет, то вы уже привели пример времени, когда это может вызвать проблемы.
Если «кажется, это может быть плохая идея», то, вероятно, так и есть. Потоки непостоянны, и если вы не докажете, что это правильно, то, скорее всего, нет (если только не случайно).
Если бы это был я, я был бы консерватором и не синхронизировал бы объект, который я не полностью контролировал, поэтому я мог быть уверен, что это правильно, без догадок.