Вы должны всегда включать идентификатор с нетерпеливо загруженными отношениями.Поэтому убедитесь, что идентификатор включен в столбцы, которые вы запрашиваете.Без идентификатора он не может сопоставить связанную модель с исходной моделью, поэтому он должен запросить ее повторно при первом использовании, вместо того, чтобы загружать ее с нетерпением.
public function apply(Builder $builder, Model $model)
{
$builder->with('user:id,col1,col2');
}