Вам нужно удвоить его, поместить в одиночную кавычку или экранировать с помощью `
echo "This will output a double quote """
echo '"This will also be put in double quotes"'
echo "`"This is another way to quote`""
Дополнительные сведения о цитировании строк см. В официальной документации
.