Я не совсем уверен, что понимаю ваш вопрос, хотя считаю, что вам нужно инкапсулировать создание нового столбца в его собственный метод и вызывать его только один раз - например, в конструкторе.
Например:
void CreateDeleteColumn()
{
bcol = new DataGridViewButtonColumn();
bcol.HeaderText = "Action ";
bcol.Text = "Delete";
bcol.Name = "deleteUserButton";
bcol.UseColumnTextForButtonValue = true;
UsersView.Columns.Add(bcol);
}
Это должно остановить добавление столбца при каждом заполнении списка.
Надеюсь, это поможет, и извините, если я неправильно понял.
Tony