можно использовать ftruncate для увеличения размера блока совместно используемой памяти ...
ftruncate() изменяет размер файла. Он не изменяет размер отображения памяти этого файла. Итак, ответ - нет.
... за пределами ограничения общей памяти, заданного sysconfig?
Этот предел не может быть нарушен. root пользователь может изменить это ограничение.
Как мне сделать так, чтобы он использовал swap на случай, если физическая память заканчивается?
Предполагая, что это - файл с отображением в памяти, один из способов - отображать только части файла за раз, а не весь файл. Если процесс использует больше виртуальной памяти, чем доступно физической памяти, операционная система автоматически использует подкачку для освобождения некоторой физической памяти.