Я почти уверен, что пока нет управляемых 3D-библиотек, поддерживающих как Xna, так и Mono (т.е. Open GL). Я подозреваю, что вам лучше всего написать собственный минимальный слой абстракции поверх Xna (который просто выполняет то, что вам нужно), а затем внедрить его в Mono + Open GL.
Либо так, либо вы можете подключиться и начать реализацию 3D API Xna в MonoGame или ExEn. Я вспоминаю ветку на форумах MonoGame о том, что у кого-то очень простая начальная реализация VertexBuffer. Это, очевидно, потребовало бы довольно приличного знания OpenGL.