UTF-8 проблемы при чтении файла CSV с fgetcsv - PullRequest
Новая
       26

UTF-8 проблемы при чтении файла CSV с fgetcsv

31 голосов
/ 16 января 2012

Я пытаюсь прочитать CSV и повторить содержимое. Но содержимое отображает символы неправильно.

Mäx Müstermänn -> Müx Mü¼stermänn

Кодировка файла CSV - UTF-8 без спецификации (проверено с помощью Notepad ++).

Это содержимое файла CSV:

"Mäx";"Müstermänn"

Мой PHP-скрипт 

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
</head>
<body>
<?php
$handle = fopen ("specialchars.csv","r");
echo '<table border="1"><tr><td>First name</td><td>Last name</td></tr><tr>';
while ($data = fgetcsv ($handle, 1000, ";")) {
        $num = count ($data);
        for ($c=0; $c < $num; $c++) {
            // output data
            echo "<td>$data[$c]</td>";
        }
        echo "</tr><tr>";
}
?>
</body>
</html>

Я пытался использовать setlocale(LC_ALL, 'de_DE.utf8'); как предложено здесь , но безуспешно. Содержание по-прежнему отображается неправильно.

Что мне не хватает?

Edit:

echo mb_detect_encoding($data[$c],'UTF-8'); дает мне UTF-8 UTF-8.

echo file_get_contents("specialchars.csv"); дает мне "Mäx";"Müstermänn".

И 

print_r(str_getcsv(reset(explode("\n", file_get_contents("specialchars.csv"))), ';'))

дает мне

Array ( [0] => Mäx [1] => Müstermänn )

Что это значит?

Ответы [ 6 ]

50 голосов
/ 23 октября 2014

Попробуйте это: 

<?php
$handle = fopen ("specialchars.csv","r");
echo '<table border="1"><tr><td>First name</td><td>Last name</td></tr><tr>';
while ($data = fgetcsv ($handle, 1000, ";")) {
        $data = array_map("utf8_encode", $data); //added
        $num = count ($data);
        for ($c=0; $c < $num; $c++) {
            // output data
            echo "<td>$data[$c]</td>";
        }
        echo "</tr><tr>";
}
?>
12 голосов
/ 27 января 2014

Обнаружена похожая проблема: синтаксический анализ файла CSV со специальными символами, такими как é, è, ö и т. Д. *

Для меня нормально работает следующее:

Правильное представление символов в HTMLстраница, заголовок был необходим: 

header('Content-Type: text/html; charset=UTF-8');

Чтобы правильно проанализировать каждый символ, я использовал: 

utf8_encode(fgets($file));

Не забудьте использовать во всех следующих строковых операциях 'Многобайтовые строковые функции', как: 

mb_strtolower($value, 'UTF-8');
6 голосов
/ 16 января 2012

Попробуйте поместить это в начало вашего файла (перед любым другим выводом): 

<?php

header('Content-Type: text/html; charset=UTF-8');

?>
4 голосов
/ 06 октября 2013

Проблема в том, что функция возвращает UTF-8 (она может проверять, используя mb_detect_encoding), но не преобразует , и эти символы принимают как UTF-8.Поэтому необходимо выполнить обратное преобразование в исходную кодировку (Windows-1251 или CP1251), используя iconv .Но так как fgetcsv возвращает массив, я предлагаю написать пользовательскую функцию: [ Извините за мой английский ] 

function customfgetcsv(&$handle, $length, $separator = ';'){
    if (($buffer = fgets($handle, $length)) !== false) {
        return explode($separator, iconv("CP1251", "UTF-8", $buffer));
    }
    return false;
}
3 голосов
/ 14 июля 2017

В моем случае исходный файл имеет кодировку windows-1250 и iconv печатает тонны уведомлений о недопустимых символах во входной строке ...

Так что это решение мне очень помогло: 

/**
 * getting CSV array with UTF-8 encoding
 *
 * @param   resource    &$handle
 * @param   integer     $length
 * @param   string      $separator
 *
 * @return  array|false
 */
private function fgetcsvUTF8(&$handle, $length, $separator = ';')
{
    if (($buffer = fgets($handle, $length)) !== false)
    {
        $buffer = $this->autoUTF($buffer);
        return str_getcsv($buffer, $separator);
    }
    return false;
}

/**
 * automatic convertion windows-1250 and iso-8859-2 info utf-8 string
 *
 * @param   string  $s
 *
 * @return  string
 */
private function autoUTF($s)
{
    // detect UTF-8
    if (preg_match('#[\x80-\x{1FF}\x{2000}-\x{3FFF}]#u', $s))
        return $s;

    // detect WINDOWS-1250
    if (preg_match('#[\x7F-\x9F\xBC]#', $s))
        return iconv('WINDOWS-1250', 'UTF-8', $s);

    // assume ISO-8859-2
    return iconv('ISO-8859-2', 'UTF-8', $s);
}

Ответ на ответ @ manvel - используйте str_getcsv вместо разнесения - из-за случаев, подобных этому: 

some;nice;value;"and;here;comes;combinated;value";and;some;others

взорвать строку на части: 

some
nice
value
"and
here
comes
combinated
value"
and
some
others

, но str_getcsv взорвать строкуна части: 

some
nice
value
and;here;comes;combinated;value
and
some
others
2 голосов
/ 17 января 2012

Теперь у меня все заработало (после удаления команды header).Я думаю, что проблема заключалась в том, что кодировка файла php была в ISO-8859-1.Я установил его на UTF-8 без спецификации.Я думал, что уже сделал это, но, возможно, я сделал дополнительную отмену.

Кроме того, я использовал SET NAMES 'utf8' для базы данных.Теперь это также правильно в базе данных.

...