Печать отображает японские символы, но не при сохранении в CSV

Question

Я написал скрипт Beautifulsoup, который очищает японский HTML. Кажется, все работает, и я получаю ноль сообщений об ошибках. Когда я печатаю, я получаю:

連鎖に打ち勝たねばならない」と述べ拍手を浴び etc

Но в том же сценарии, когда я сохраняю вывод в CSV, я получаю:

\u5ddd\u3001\u6ce2\u4f50\u5834\uff13\u7279\u6d3e\u54e1\u304c\u8a71\u3057\u5408 etc

Я предполагаю, что проблема в записи часть кода to-csv, но я не могу понять, что делать.

Вот код:

def processData( pageFile ):
    f = open(pageFile, "r")
    page = f.read()
    f.close()
    soup = BeautifulSoup(page, 'html.parser')
    metaData = soup.find_all("div", {'class': 'detail001'})
    one = [ ]
    for html in metaData:
        text = BeautifulSoup(str(html).strip().replace("\n", ""),features="html.parser")
        text = text.get_text()
        one.append(text.strip())
    csvfile = open(dir2 + ".csv".encode("utf-8"), 'ab')
    writer = csv.writer(csvfile)
    for ones in zip(one):
        writer.writerow([one])
    csvfile.close()
dir1 = "/home/sveisa/"
dir2 = "test2"
dir = dir1 + dir2
csvFile = dir2 + ".csv"
csvfile = open(csvFile.encode("utf-8"), 'w')
writer = csv.writer(csvfile)
writer.writerow(["one"])
csvfile.close()
fileList = os.listdir(dir)
totalLen = len(fileList)
for htmlFile in fileList:
    path = os.path.join(dir, htmlFile)
    processData(path)

Я использую Ubuntu.

Answer 1

Речь идет о encoding=, который необходимо присвоить вашему csv следующим образом:

with open("data.csv", 'w', encoding="UTF-8") as f:
    writer = csv.writer(f)
    writer.writerow(
        "\u5ddd\u3001\u6ce2\u4f50\u5834\uff13\u7279\u6d3e\u54e1\u304c\u8a71\u3057\u5408")

Выходной контент:

川、波佐場３特派員が話し合