Дамп ядра, полученный с помощью gcore, преобразование jmap в формат файла hprof завершается с сообщением об ошибке

Question

Недавно у нас произошел один сбой нашей JVM, в результате чего остался файл дампа ядра, созданный командой gcore. Мы хотим взглянуть на содержимое файла и выяснить, что именно вызвало сбой.

Используя команду jmap, вы должны превратить файлы дампа основной памяти в файлы в формате hprof, которые затем можно проанализировать с помощью VisualVM и ряда других инструментов. Я попробовал это и получил сообщение об ошибке. Это была команда, которую я выполнил (в том же окне, где произошел сбой, используя ту же JVM):

jmap -dump:format=b,file=dump.hprof /usr/java/jdk1.6.0_16/bin/java core.dump.2878

Ответ полностью:

> Attaching to core core.dump.8483 from executable /usr/java/jdk1.6.0_16/bin/java, please wait...
> Error attaching to core file: Can't attach to the core file

Это не очень полезное сообщение об ошибке. Я задавался вопросом, была ли это проблема с разрешениями, но я получал то же сообщение с командой, что и при использовании JVM, которая вызвала дамп ядра. Мне также было интересно, поврежден ли основной файл, поэтому я решил использовать gdb, чтобы посмотреть, смогу ли я открыть основной файл и посмотреть, что в нем. Вот что я получаю:

> gdb
GNU gdb (GDB) Red Hat Enterprise Linux (7.0.1-37.el5_7.1)
License GPLv3+: GNU GPL version 3 or later 
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.  Type "show copying"
and "show warranty" for details.
This GDB was configured as "x86_64-redhat-linux-gnu".
For bug reporting instructions, please see:
<http://www.gnu.org/software/gdb/bugs/>.
(gdb) core-file core.dump.8483
[New Thread 2889]
[New Thread 2893]
[New Thread 2894]
[New Thread 2895]
[New Thread 2896]
[New Thread 2904]
[New Thread 2915]
[New Thread 2916]
[New Thread 2917]
[New Thread 2921]
[New Thread 2922]
[New Thread 3175]
[New Thread 3239]
[New Thread 3252]
[New Thread 3258]
[New Thread 3260]
[New Thread 3356]
[New Thread 3509]
[New Thread 3510]
[New Thread 3514]
[New Thread 3523]
[New Thread 3541]
[New Thread 3542]
[New Thread 3543]
[New Thread 4022]
[New Thread 4057]
[New Thread 4058]
[New Thread 4077]
[New Thread 4078]
[New Thread 4079]
[New Thread 4080]
[New Thread 6128]
[New Thread 6140]
[New Thread 6162]
[New Thread 6376]
[New Thread 6389]
[New Thread 6408]
[New Thread 6422]
[New Thread 6429]
[New Thread 6451]
[New Thread 6497]
[New Thread 6513]
[New Thread 6514]
[New Thread 6516]
[New Thread 6517]
[New Thread 6532]
[New Thread 6533]
[New Thread 6665]
[New Thread 6675]
[New Thread 6676]
[New Thread 6687]
[New Thread 6689]
[New Thread 6692]
[New Thread 6706]
[New Thread 6707]
[New Thread 6735]
[New Thread 6736]
[New Thread 7033]
[New Thread 7034]
[New Thread 7056]
[New Thread 7077]
[New Thread 7079]
[New Thread 7080]
[New Thread 7082]
[New Thread 7089]
[New Thread 7090]
[New Thread 7091]
[New Thread 7092]
[New Thread 7103]
[New Thread 7105]
[New Thread 7107]
[New Thread 7108]
[New Thread 7116]
[New Thread 7229]
[New Thread 7308]
[New Thread 7493]
[New Thread 7505]
[New Thread 7510]
[New Thread 7511]
[New Thread 7517]
[New Thread 7523]
[New Thread 7604]
[New Thread 7617]
[New Thread 7618]
[New Thread 7619]
[New Thread 8676]
[New Thread 8693]
[New Thread 8700]
[New Thread 8851]
[New Thread 8860]
[New Thread 8887]
[New Thread 9007]
[New Thread 9118]
[New Thread 9119]
[New Thread 9120]
[New Thread 9413]
[New Thread 9427]
[New Thread 9495]
[New Thread 9508]
[New Thread 9519]
[New Thread 9535]
[New Thread 9536]
[New Thread 9537]
[New Thread 9554]
[New Thread 9556]
[New Thread 9659]
[New Thread 9660]
[New Thread 9663]
[New Thread 9664]
[New Thread 9665]
[New Thread 9666]
[New Thread 9667]
[New Thread 9668]
[New Thread 9669]
[New Thread 9670]
[New Thread 9671]
[New Thread 9678]
[New Thread 9870]
[New Thread 9953]
[New Thread 9998]
[New Thread 10002]
[New Thread 10118]
[New Thread 10119]
[New Thread 10122]
[New Thread 10149]
[New Thread 10152]
[New Thread 10155]
[New Thread 10176]
[New Thread 10178]
[New Thread 10179]
[New Thread 10180]
[New Thread 10182]
[New Thread 10194]
[New Thread 10195]
[New Thread 10196]
[New Thread 10198]
[New Thread 10199]
[New Thread 10200]
[New Thread 10201]
[New Thread 10202]
[New Thread 10203]
[New Thread 10205]
[New Thread 10206]
[New Thread 10244]
[New Thread 10246]
[New Thread 10247]
[New Thread 10248]
[New Thread 10249]
[New Thread 10251]
[New Thread 10252]
[New Thread 10254]
[New Thread 10255]
[New Thread 10256]
[New Thread 10257]
[New Thread 10258]
[New Thread 10259]
[New Thread 10260]
[New Thread 10261]
[New Thread 10262]
[New Thread 10263]
[New Thread 10264]
[New Thread 10265]
[New Thread 10267]
[New Thread 10268]
[New Thread 10269]
[New Thread 10271]
[New Thread 10476]
[New Thread 10477]
[New Thread 10479]
[New Thread 10552]
[New Thread 10607]
[New Thread 10611]
[New Thread 10612]
[New Thread 10613]
[New Thread 10615]
[New Thread 10617]
[New Thread 10623]
[New Thread 10624]
[New Thread 10625]
[New Thread 10641]
[New Thread 10642]
[New Thread 10649]
[New Thread 10736]
[New Thread 10742]
[New Thread 10756]
[New Thread 10758]
[New Thread 10760]
[New Thread 10761]
[New Thread 10762]
[New Thread 11278]
[New Thread 11412]
[New Thread 11513]
[New Thread 11514]
[New Thread 2878]
(gdb) quit

И в этот момент я ухожу, потому что я абсолютно ничего не знаю о gbd и о том, как использовать его для диагностики такого рода проблем. Я даже не очень понимаю, что сделала эта последняя команда. Стоит отметить, что в выходных данных присутствует ровно 134 строки «New Thread», и, если каждая из них представляет новый поток, порождаемый в JVM, это может быть причиной смерти JVM.

Так что мой вопрос на самом деле трехкратный -

1) Есть идеи, почему команда jmap могла выдать это сообщение об ошибке?

2) есть идеи, что означает вывод gdb?

3) есть идеи, как использовать gdb для дальнейшей диагностики этой проблемы?

Answer 1

Был ли файл ядра больше 2 ГБ?Если это так, у вас может быть проблема со сборкой Linux libsaproc.so, которая поставляется с JVM.

Запустите вашу команду еще раз, но вот так:

strace -o out.txt -f $yourOriginalCommand

Затем 'grepcore.2878 out.txt 'и найдите ошибку в системном вызове open ().Он вернул ошибку (E_XXXXX) или номер дескриптора файла?

Answer 2

Кстати, jvisualvm может напрямую загружать дампы ядра. Но вы должны использовать тот же jvm, который создал файл ядра.

Answer 3

Это меня очень беспокоило, так как у меня был основной файл, представляющий кучу, которую мне нужно было проанализировать, но я постоянно видел сообщение об исключении ниже:

sun.jvm.hotspot.debugger.NoSuchSymbolException: Не удалось найти символ «gHotSpotVMTypeEntryTypeNameOffset» ни в одном из известных имен библиотек (libjvm.so, libjvm_g.so, gamma_g) * 1008 из 1007 * копирования *мой исходный компьютер (компьютер, на котором был получен основной файл) в той же папке на конечном компьютере, а затем запуск jmap с этим расположением java в качестве аргумента работал для меня.

Итак, вот шаги, которые нужно попробовать на случай, если кто-то еще столкнется с этим:
1. Подключитесь к файлу ядра через gdb и подтвердите местоположение двоичного файла Java, который использовал запущенный процесс:

    gdb --core=</path/to/core-file>

2.Приведенный выше вывод будет выглядеть примерно так:

[New Thread 22748]
**Core was generated by `/opt/blah/location/jre/bin/java -Xmx...'.**

3.Убедитесь, что вы скопировали соответствующую версию jre в каталог / opt / blah / location /

Затем запустите jmap как:

/opt/jdk1.8.0_09/bin/jmap -heap /opt/blah/location/jre/bin/java /path/to/core-file

Это должно успешно подключиться к файлу ядра и распечатать статистику кучи.Если это так, то вы успешно прочитали файл ядра

С этого момента вы можете успешно сгенерировать hprof из файла ядра, используя:

/opt/jdk1.8.0_09/bin/jmap -dump:format=b,file=my-file.hprof /opt/blah/location/jre/bin/java /path/to/core-file