Если проблема в том, что XNA не делает то, что вам нужно, TorqueX 2D выглядит так, как будто вы ближе к готовому решению для .NET.
Если проблема в том, что XNA излишня для ваших нужд, не стесняйтесь игнорировать слишком сложные функции и работать на более низком уровне абстракции. Например, я помню, что множество API-интерфейсов XNA отражает DirectX.