Ваш тест и другие ответы уже показали, что нет никакой разницы.
p "Person's name"
p "Person\'s name"
Разница в одинарных кавычках:
Вы получаете синтаксическую ошибку с
p 'Person's name'
Приведенная версия будет работать:
p 'Person\'s name'
Если это поведение вас раздражало, возможно, вы предпочитаете другую возможность создать строку:
p %{Person's name}
p %q{Person's name} #like '
p %Q{Person's name} #like "