Как анализировать большие файлы дампа JVM

Question

Наш кластер hadoop имеет 1000+ узлов и данные 20PB. Итак, наши файлы дампа NameNode имеют размер более 100 ГБ, и мы обнаруживаем, что их трудно анализировать с помощью любых инструментов. У кого-нибудь есть предложения по анализу таких больших файлов дампа jvm?

Answer 1

MAT - это анализ файла дампа с индексными файлами, можете ли вы отобразить большой файл во множество маленьких файлов и сохранить индексные файлы в общей файловой системе (например, fastdfs)