Я наконец понял, что DB_HASH - это Berkeley DB формат файла.
У меня не было libdb для Ruby в моем Ubuntu, но это было исправлено с помощью простого apt-get
apt-get install libdb4.2-ruby1.8
Тогда в Ruby
require 'bdb'
db=BDB::Hash.open("test.db")
keyvalues=db.to_hash