Главное здесь - понять, что на Xbox 360 будет работать только код .Net, поэтому любая пользовательская библиотека, которую вы хотите использовать , должна быть сборкой .Net. Второе, что нужно понять, это то, что Xbox работает на компактной платформе, поэтому все, что не включено в это, не будет работать. Это достаточно легко проверить, скомпилировав проект для 360, как описано выше.
Если честно, я бросил быстрый взгляд на Бу и не смог сказать, во что он встроен, поэтому я не уверен, сработает ли он. Я также не понимаю смысла использования Boo внутри XNA, но это не то, о чем вы действительно спрашиваете.