Хорошо, я вырыл немного дальше, и кажется, что моя строка подключения неверна. В случае файлов CSV вы указываете не реальное имя файла, а каталог, к которому он относится, например.
var fileName = string.Format("{0}{1}", AppDomain.CurrentDomain.BaseDirectory, "Uploads\\");
string connectionString = string.Format(@"Provider=Microsoft.Jet.OLEDB.4.0; Data Source={0}; Extended Properties=""text;HDR=YES;FMT=Delimited""", fileName);
OleDbConnection oledbConn = new OleDbConnection(connectionString);
oledbConn.Open();
var cmd = new OleDbCommand("SELECT * FROM [countrylist.csv]", oledbConn);
И вы указываете имя файла в SelectCommand. Какой странный способ сделать это. Это работает для меня сейчас.