Поместите каждый элемент данных в кавычки.Пара кавычек в кавычках означает одну кавычку.например,
"Daniel Norton","Congress Ave.
Austin (""Keeping it weird""), TX"
Ссылаясь на ваш пример:
$data = str_replace('"','""',$data);
$address = str_replace('"','""',$address);
$cvsData = "\"$data\",\"$address\"\n";
Еще лучше, просто используйте функцию PHP fputcsv .
fputcsv($fp,array($data,$address));