Сфинкс со строковыми атрибутами UTF-8 - PullRequest
Новая
       2

Сфинкс со строковыми атрибутами UTF-8

0 голосов
/ 09 февраля 2012

У меня есть индекс Сфинкса с документами UTF-8, в частности имена художников. По разным причинам у нас есть имя как поле (indexed_name) и как атрибут (name). Когда я ищу документ, я нахожу его правильно, но атрибут возвращается поврежденным: 

mysql> select name from artist where match('@indexed_name Sánchez') limit 3;
+---------+--------+-----------------------+
| id      | weight | name                  |
+---------+--------+-----------------------+
| 7843884 |   2642 | Sarita Sánchez     |
| 8519538 |   2642 | Cristhian  Sánchez |
| 3853986 |   2627 | Alfonso  Sánchez   |
+---------+--------+-----------------------+
3 rows in set (0.02 sec)

Похоже, что атрибуты изначально были UTF-8, но обрабатывались как ISO-8859-1 и затем преобразовывались обратно в UTF-8. Когда я делаю это в Ruby, похоже, что он проходит через это второй раз: 

[1] pry(main)> rs = Thebes::Sphinxql::Query.run("select name from artist where match('@indexed_name Sánchez')")
=> #<Mysql2::Result:0x000000029bebf8 (omitted...)
[2] pry(main)> name = rs.first['name']
=> "Sarita SÃ\u0083¡nchez"

Это ошибка в Сфинксе или я что-то не так делаю?

Я могу повернуть его вспять, пройдя через ISO-8859-1 и UTF-8: 

[4] pry(main)> name.encode!("ISO-8859-1")
=> "Sarita S\xC3\x83\xC2\xA1nchez"
[5] pry(main)> name.force_encoding("UTF-8")
=> "Sarita Sánchez"
[6] pry(main)> name.encode!("ISO-8859-1")
=> "Sarita S\xC3\xA1nchez"
[7] pry(main)> name.force_encoding("UTF-8")
=> "Sarita Sánchez"

Будет ли это работать, однако, для символов в других наборах символов ISO-8859- * и для вещей, которые законно нуждаются в Юникоде?

Обновление 1:

Ответ на второй вопрос - нет. Поиск турецких имен: 

mysql> select name from artist where match('@indexed_name ÖZDEMİR') limit 3;

+---------+--------+-------------------------------+
| id      | weight | name                          |
+---------+--------+-------------------------------+
| 1753230 |   2664 | Nurullah Alper ÖZDEMİR |
| 6973956 |   2664 | YİĞİT ÖZDEMİR |
| 9133770 |   2664 | TAHA ÖZDEMİR           |
+---------+--------+-------------------------------+
3 rows in set (0.01 sec)

Второй должен быть "Yİ YİT ÖZDEMİR." 

[2] pry(main)> rs = Thebes::Sphinxql::Query.run("select name from artist where match('@indexed_name ÖZDEMİR') limit 3")
=> #<Mysql2::Result:0x000000047779b0...
[5] pry(main)> name = rs.to_a[1]['name'].dup
=> "YÃ\u0084°Ã\u0084žÃ\u0084°T Ã\u0083â\u0080\u0093ZDEMÃ\u0084°R"
[6] pry(main)> name.encode!("ISO-8859-1")
=> "Y\xC3\x84\xC2\xB0\xC3\x84\xC5\xBE\xC3\x84\xC2\xB0T \xC3\x83\xE2\x80\x93ZDEM\xC3\x84\xC2\xB0R"
[7] pry(main)> name.force_encoding("UTF-8")
=> "YİĞİT ÖZDEMİR"
[8] pry(main)> name.encode!("ISO-8859-1")
Encoding::UndefinedConversionError: U+017E from UTF-8 to ISO-8859-1
from (pry):8:in `encode!'

Я не уверен, как… оказалось в…, который, кажется, имеет пять байтов в ширину ...

Обновление 2:

Я не хочу публиковать весь свой sphinx.conf, но вот конфигурация для индекса, который здесь используется. Он генерируется Thinking Sphinx. 

source artist_core_0
{
  type = mysql
  sql_host = (omitted)
  sql_user = (omitted)
  sql_pass = (omitted)
  sql_db = (omitted)
  sql_query_pre = SET NAMES utf8
  sql_query_pre = SET TIME_ZONE = '+0:00'
  sql_query = (omitted)
  sql_query_range = SELECT IFNULL(MIN(`id`), 1), IFNULL(MAX(`id`), 1) FROM `artists` 
  sql_attr_uint = sphinx_internal_id
  sql_attr_uint = sphinx_deleted
  sql_attr_uint = class_crc
  sql_attr_float = latitude
  sql_attr_float = longitude
  sql_attr_string = sphinx_internal_class
  sql_attr_string = name
  sql_attr_string = homepage
  sql_attr_string = image
  sql_attr_string = city
  sql_attr_string = state
  sql_attr_string = postal_code
  sql_attr_string = country
  sql_query_info = SELECT * FROM `artists` WHERE `id` = (($id - 0) / 6)
}

index artist_core
{
  source = artist_core_0
  path = (omitted)
  morphology = libstemmer_en, libstemmer_fr, libstemmer_tr, libstemmer_es, libstemmer_de, libstemmer_it
  charset_type = utf-8
  min_prefix_len = 3
  enable_star = 1
}

index artist
{
  type = distributed
  local = artist_core
}

1 Ответ

0 голосов
/ 15 марта 2012

Неважно.Данные в нашей базе данных были в двойном кодировании.

...