Вам действительно нужны только папка Bin и web.config, как уже упоминалось.
Но если вы не используете веб-проект (скомпилированный сайт), вам понадобится папка App_Code для размещения файлов кода, чтобы сайт знал, что компилировать во время выполнения.