Используйте функцию str.encode
вместе с модулем csv, есть полный пример, который покажет вам, что в документации по Python (или по ссылке, приведенной в комментарии к вашему вопросу). Быстрый пример:
row = ["one", "two", "three"]
import csv
with open("report.csv", "wb") as f:
writer = csv.writer(f)
writer.writerow([s.encode("utf-8") for s in row])