Узел Scylla выходит из строя из-за ошибки ввода-вывода хранилища - PullRequest
0 голосов
/ 07 февраля 2020

Узлы Scylla внезапно go вниз (Вниз и Нормальное состояние). Нашел это, проверяя журналы

Feb 06 08:37:11 scylla-zeograph-prod-eu-3 scylla[13753]:  [shard 11] storage_service - Disk error: std::system_error (error system:61, No data available)
Feb 06 08:37:11 scylla-zeograph-prod-eu-3 scylla[13753]:  [shard 11] sstable - failed reading index for /var/lib/scylla/data/idgraph1/graphindex-48ff28e0322211ea92ea00000000000a/mc-1019-big-Data.db: storage_io_error (Storage I/O error: 61: No data available)
Feb 06 08:37:11 scylla-zeograph-prod-eu-3 scylla[13753]:  [shard 0] storage_service - Stop transport: starts
Feb 06 08:37:11 scylla-zeograph-prod-eu-3 scylla[13753]:  [shard 0] storage_proxy - Exception when communicating with 10.38.0.5: storage_io_error (Storage I/O error: 61: No data available)
Feb 06 08:37:11 scylla-zeograph-prod-eu-3 scylla[13753]:  [shard 0] storage_service - Thrift server stopped
Feb 06 08:37:11 scylla-zeograph-prod-eu-3 scylla[13753]:  [shard 0] storage_service - CQL server stopped
Feb 06 08:37:11 scylla-zeograph-prod-eu-3 scylla[13753]:  [shard 0] storage_service - Stop transport: shutdown rpc and cql server done
Feb 06 08:37:11 scylla-zeograph-prod-eu-3 scylla[13753]:  [shard 0] gossip - My status = NORMAL
Feb 06 08:37:11 scylla-zeograph-prod-eu-3 scylla[13753]:  [shard 0] gossip - Announcing shutdown
Feb 06 08:37:11 scylla-zeograph-prod-eu-3 scylla[13753]:  [shard 0] storage_service - Node 10.38.0.5 state jump to normal
Feb 06 08:37:11 scylla-zeograph-prod-eu-3 scylla[13753]:  [shard 11] sstable - failed reading index for /var/lib/scylla/data/idgraph1/graphindex-48ff28e0322211ea92ea00000000000a/mc-1019-big-Data.db: storage_io_error (Storage I/O error: 61: No data available)

Что может быть за возможная проблема?

1 Ответ

0 голосов
/ 13 февраля 2020

Прежде всего, вы должны знать, что когда Scylla не может прочитать один из файлов базы данных (как это произошло в этом случае), он вообще отказывается загружаться, как вы заметили. Хотя было бы легко просто пропустить эту ошибку и продолжить чтение большего количества файлов, это опасно - тогда узел может отвечать на запросы только подмножеством данных или, возможно, даже поврежденными данными. Поскольку данные в Scylla обычно реплицируются на 3 узлах, часто безопаснее, если один узел go выключен, а два других ответа (пока, в конце концов, оператор не вызовет третий), чем узел go с неправильными данными.

Получив это введение, я думаю, ваш следующий вопрос - почему у вас возникла ошибка ввода-вывода. ENODATA, который вы получили, не является обычной ошибкой ввода-вывода ... Как Avi предложил в комментарии, пожалуйста, посмотрите, не регистрирует ли системный журнал и ошибки. Какая файловая система у вас / var / lib / scylla / data / in? Если проблема не устранена, и вы можете воспроизвести ее в последней версии Scylla, вы также можете задать этот вопрос в списке рассылки разработчиков Scylla (scylladb-dev@googlegroups.com).

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...