Поскольку вы, похоже, пытаетесь скомпилировать расширение Ruby, этот вопрос может быть вам полезен. Обратите внимание, что скачивать исходные коды или взламывать что-либо вручную - плохая идея. Для этого всегда есть официальный и удобный способ сделать это. Если вы обнаружили, что кладете файлы в случайные места, остановитесь на некоторое время и убедитесь, что вы не делаете что-то не так.
Кроме чисто соображений удобства, все же лучше установить все соответствующие пакеты разработки из хранилища, поскольку загруженные вами заголовки могут не соответствовать двоичным библиотекам, с которыми вы планируете ссылаться. Если они этого не делают, и если они не совместимы с двоичными файлами, вы попадаете в большие проблемы. Команды apt-file search и apt-cache search очень полезны для определения нужного вам имени пакета.