Есть ли у вас реальный опыт корпоративного уровня с транзакционной NTFS (TxF)? - PullRequest
Новая
       60

Есть ли у вас реальный опыт корпоративного уровня с транзакционной NTFS (TxF)?

21 голосов
/ 15 сентября 2009

Справочная информация:

Мне известен этот ТАК вопрос о транзакционной NTFS (TxF) и этой статье , описывающей как ее использовать, но я ищу реальный опыт с разумно крупномасштабной корпоративной системой , где большое количество больших двоичных данных (скажем, документов и / или фотографий) необходимо сохранить один раз в транзакциях и прочитать много раз .

  • Мы ожидаем несколько десятков тысяч документов, написанных в день, и считывающих несколько десятков тысяч в час.
  • Мы можем хранить индексы в файловой системе или в SQL Server, но должны иметь возможность масштабировать их по нескольким блокам.
  • Мы должны сохранять возможность резервного копирования и восстановления данных для аварийного восстановления.

Вопрос:

  • Есть ли у вас какой-либо реальный опыт корпоративного уровня с транзакционной NTFS (TxF)?

Похожие вопросы:

  • Кто-нибудь пробовал распределенные транзакции, используя TxF, где один и тот же файл фиксируется на двух зеркальных серверах одновременно?
  • Кто-нибудь пробовал распределенную транзакцию с файловой системой и базой данных?
  • Какие-либо проблемы производительности / проблемы надежности / данные производительности, которыми вы можете поделиться? Кто-нибудь когда-либо делал что-то в этом масштабе, когда транзакции вызывают беспокойство?

Редактирует : Чтобы быть более ясным, я исследовал другие технологии, включая новый тип данных FILESTREAM в SQL Server 2008, но этот вопрос специально предназначен только для транзакционной файловой системы .

Дополнительные ресурсы:

Ответы [ 5 ]

8 голосов
/ 27 августа 2010

Я полагаю, что опыт реального уровня предприятия более субъективен, чем кажется.

Центр обновления Windows использует TXF. Так что это используется довольно сильно с точки зрения частоты. Теперь он не выполняет многоузловую работу и не проходит через DTC или что-то подобное, но использует TXF для манипулирования состоянием файла. Он координирует эти изменения с изменениями в реестре (TXR). Это считается?

Мой коллега представил этот доклад SNIA , который довольно откровенен в отношении работы над TXF и может пролить немного больше света. Если вы думаете об использовании TXF, его стоит прочитать.

7 голосов
/ 28 сентября 2009

К сожалению, похоже, что ответ "Нет".

Почти за две недели (одна неделя с вознаграждением в 100 баллов) и 156 просмотров никто не ответил, что они использовали TxF для любых приложений большого объема, как я описал. Я не могу сказать, что это было неожиданно, и, конечно, я не могу доказать отрицательность, но кажется, что эта функция Windows не очень хорошо известна или часто используется, по крайней мере, активными членами сообщества SO на момент написания. *

Если мне удастся написать какое-то доказательство концепции, я опубликую здесь то, что узнал.

4 голосов
/ 15 сентября 2009

Рассматривали ли вы поддержку файлового потока в SQL Server 2008 (если вы, конечно, используете SQL Server 2008)? Я не уверен в производительности, но он обеспечивает транзакционность и поддерживает резервное копирование / восстановление.

1 голос
/ 26 сентября 2009

Хотя у меня нет большого опыта работы с TxF, у меня есть опыт работы с MS DTC. Сам TxF довольно производительный. Когда вы добавляете MS DTC для обработки нескольких менеджеров ресурсов на нескольких машинах, производительность сильно падает.

Из вашего описания звучит так, будто вы храните и индексируете очень большие объемы неструктурированных данных. Я предполагаю, что вам также нужна возможность поиска этих данных. Поэтому я настоятельно рекомендую рассмотреть что-то вроде Microsoft Dryad или Google MapReduce и высокопроизводительную распределенную файловую систему для хранения неструктурированных данных и индексирования. Лучшими примерами крупных корпоративных систем, которые хранят и индексируют большие объемы больших двоичных данных, являются поисковые системы Интернета, такие как Bing и Google.

Существует достаточно ресурсов для управления неструктурированными данными с высокой пропускной способностью, и они, вероятно, решат вашу проблему более эффективно, чем SQL Server и NTFS.

Я знаю, что это немного дальше от коробки, чем вы, вероятно, искали ... но вы упомянули, что вы уже исчерпали все другие возможности поиска вокруг окна NTFS / TxF / SQL. ;)

0 голосов
/ 18 сентября 2010

Рональд: FileStream размещен поверх TxF.

JR. Хотя Центр обновления Windows использует TxF / KTM и демонстрирует свою полезность, он не является высокопроизводительным приложением.

...