(1) И Bullet, и PhysX поддерживают деформируемые объекты в некоторой емкости. Bullet имеет открытый исходный код, и PhysX можно использовать бесплатно. У них обоих есть порты для Windows, Mac, Linux и всех основных консолей.
(2) Вы можете взломать что-нибудь вместе, если вы действительно знаете, что делаете, и это может даже сработать. Однако, вероятно, будут ошибки, если у вас нет чертовски хорошего понимания того, как работает последовательный решатель импульсных ограничений Box2D, и какие типы мер будут необходимы для поддержания стабильности вашей системы. Тем не менее, есть много способов заставить деформируемые объекты работать с минимальной суетой в игровой среде. Первый вариант - взять приближение деформации второго (или более высокого) порядка. Это позволяет вам справляться с деформациями почти так же, как с жесткими движениями, только теперь у вас есть несколько дополнительных степеней свободы. См., Например, следующую статью:
http://www.matthiasmueller.info/publications/MeshlessDeformations_SIG05.pdf
Второй метод - мягкие тела под давлением, которые в основном моделируют тело как набор частиц с некоторыми ограничениями по расстоянию и силами давления. Это то, что делают и PhysX, и Bullet, и сейчас это довольно стандартная техника (например, Гиш использовал ее):
http://citeseerx.ist.psu.edu%2Fviewdoc%2Fdownload%3Fdoi%3D10.1.1.4.2828%26rep%3Drep1%26type%3Dpdf
Если вы гуглите вокруг, вы можете найти множество учебных пособий по его реализации, но я не могу ручаться за их качество. Наконец, недавно был предпринят толчок к попыткам сделать деформируемые объекты «правильным» способом, используя реалистичные модели упругости и подходы типа конечных элементов. Это все еще область активных исследований, так что это не для слабонервных. Например, вы можете взглянуть на любое количество работ в этом году на SIGGRAPH:
http://kesen.realtimerendering.com/sig2011.html
(3) Вероятно, нет. Хотя существуют определенные игры в стиле 2D, которые могут работать с трехмерным физическим движком (например, игры типа сверху вниз) для специальных эффектов.
(4) Исходя из того, что я только что сказал, вы, вероятно, уже знаете ответ. Если вы любитель приключений и у вас есть время, чтобы убить, и желание учиться, тогда я говорю, дерзайте! Конечно, сначала это будет сложно, но со временем все становится проще. Кроме того, изучение новых вещей - это очень весело!
С другой стороны, если вам нужны результаты сейчас, не делайте этого. Это займет много времени, и вы, вероятно, потерпите неудачу (много). Если вы просто хотите создавать игры, то придерживайтесь существующих библиотек и опирайтесь на те абстракции, которые они вам предоставляют.