Вы можете использовать метод Insert в коллекции DataGridView.Columns.Например,
var column = new DataGridViewTextBoxColumn();
// initialize column properties
...
myGridView.Columns.Insert(2, column);
Предпочтительно, это должно происходить после привязки данных.