как объединить базы данных хэш-таблицы Tokyo Cabinet (файлы .tch) (без дубликатов ключей) - PullRequest
1 голос
/ 19 апреля 2010

Возможно ли это? Я нигде не мог найти ответ.

В основном я смотрю на установку, где у меня есть несколько рабочих (ящиков), которые должны все эти данные в конечном итоге хранить в индексе / дБ Токийского Кабинета (я использую Tokyto Tyrant поверх протокола memcached и т. Д. но все же)

По сути, я попытался перенести данные непосредственно в другую коробку, в которой работает Tokyo Tyrant, но через некоторое время TT не может с этим справиться. Вставки становятся очень медленными, и рабочие сидят без дела, желая выгрузить данные на TT-сервер. (Я пробовал все что угодно, чтобы улучшить производительность, больше оперативной памяти, raid-конфигурации, несколько TT-серверов на коробке и т. Д.), Но основное падение производительности (вставок в секунду) наступает рано или поздно.

Теперь я рассматриваю вариант, позволяющий каждому работнику сохранять свои собственные данные в локальной базе данных Токийского тирана и впоследствии объединять базы данных всех работников (без гарантии дублирования ключей)

Любая помощь приветствуется (также оцениваются другие способы распределения нагрузки на TT)

Кстати: конфигурация для TT: # bnum = 20000000 # opts = l # xmsiz = 162000000 Я установил bnum на верхнюю границу ожидаемых предметов: 20 мил.

Спасибо, Герт-Ян

1 Ответ

0 голосов
/ 27 ноября 2012

проверить кчашмгр. Вы можете выгрузить файлы в файлы данных, а затем загрузить их в новый файл kch, созданный с большим значением bnum.

...