Apache Ignite IGFS: начать чтение большого файла до завершения записи - PullRequest
0 голосов
/ 16 апреля 2019

У меня есть сценарий использования, когда я могу записать файл 100 G в мое новое хранилище IGFS.Я хочу начать чтение начала файла до того, как конец файла закончится, так как запись 100G может занять минуту или две.

Поскольку я не могу ускорить свое оборудование, я хотел бы ускорить программное обеспечение, начав читать файл до того, как я закрою свой поток записи.У меня записано несколько ГБ, поэтому есть много данных, чтобы начать чтение.Когда я пишу простой тест для этого случая, я получаю исключение, потому что IGFS не позволяет мне читать из потока, когда я все еще пишу в него.Не лишено смысла ... за исключением того, что я знаю под капотом, что первые сегменты файла написаны и сделаны.

Кто-нибудь знает, как мне это обойти?Я полагаю, я мог бы написать кучу кода, чтобы разбить файлы на сегменты 500M или что-то, но я надеюсь, что это будет необязательно.

1 Ответ

1 голос
/ 20 апреля 2019

Вместо использования Ignite в режиме IGFS разверните его в стандартной конфигурации - как отдельное ориентированное на память хранилище с включенным собственным постоянством. Позвольте Ignite хранить подмножество данных, которые вы имеете в Hadoop, которые используются операциями, необходимо ускорить. Эта конфигурация позволяет использовать все API Ignite, включая Spark Integration.

...