Помимо указания "v4.0", вам необходимо добавить ссылку "Microsoft.CSharp.dll", чтобы использовать ключевое слово "dynamic".
var codeProvider = new Microsoft.CSharp.CSharpCodeProvider(
new Dictionary<string, string> { { "CompilerVersion", "v4.0" } });
var parameters = new System.CodeDom.Compiler.CompilerParameters
{
GenerateInMemory = true,
GenerateExecutable = false,
IncludeDebugInformation = true,
TreatWarningsAsErrors = false
};
// Here add more referenced assemblies
parameters.ReferencedAssemblies.Add("Microsoft.CSharp.dll");
Не забудьте скомпилировать решение с использованием Framework 4.0 +.
Надеюсь, это поможет.