gdb
должен уметь анализировать ядро:
gdb /path/to/binary/rtorrent /path/to/coredump/rtorrent.core
введите where
, чтобы увидеть трассировку стека.
Чтобы увидеть больше: скомпилируйте rtorrent с символами отладки, запустите, дождитесь сбоя и проанализируйте дамп с помощью gdb (в этом случае вы можете увидеть точное место, где происходит сбой).
UPD Насколько я знаю, rtorrent построен поверх libtorrent, поэтому для получения полной информации вам необходимо перестроить библиотеку и приложение с отладочными символами.