CSV-файл - это просто текст - от программы загрузки зависит, как она решит интерпретировать текст.
Если Excel жалуется, когда вы его кормите "<a href=\"blah\">Link</a>", "another cell"
, попробуйте использовать только необработанный URL, и выможет оказаться, что Excel автоматически превратит его в ссылку.
Но в общем случае Excel не обрабатывает HTML, поэтому ожидать, что он отрисовывает HTML из CSV-файла, слишком много.