Есть много сайтов-конкурсов, которые делают что-то вроде этого - TopCoder и Timus Online Judge - два примера. Однако они не располагают большой информацией о технологиях.
codepad.org является наиболее близким к тому, что вы хотите сделать. Они запускают программы на серверах EC2 с большим количеством песочниц и брандмауэров, которые периодически стираются, чтобы предотвратить эксплойты.
Codepad, по крайней мере, частично основан на geordi , боте IRC, предназначенном для запуска произвольных программ на C ++. Он использует Haskell и перехватывает системные вызовы для предотвращения вредоносной активности.
Немного меньший интерес представляет один из примеров проектов Google App Engine - оболочка Python . Для предотвращения злонамеренных действий он использует серверную изолированную среду GAE.
С точки зрения интерфейса, самым простым было бы сделать что-то вроде Международной олимпиады по информатике. Пусть люди напишут функцию с определенным именем на целевом языке, а затем вызовут ее из вашей среды тестирования. Имеют простые функции, которые позволят им запрашивать информацию из каркаса, если это необходимо.