Простая замена строки должна быть достаточной.
const string = 'links are outputted like so: <a href="#">. How can I replace this content with: <nuxt-link to="#">'
const converted = string.replace(/<a/g, '<nuxt-link').replace(/href=/g, 'to=');
console.log(converted)