Вы можете сгенерировать одну миграцию и поместить в нее этот код. Он даст вам массив всех таблиц (за исключением таблицы "schema_migrations", которую автоматически создает Rails), а затем добавит столбцы к каждой из них.
tables = ActiveRecord::Base.connection.tables - ["schema_migrations"]
tables.each do |table|
add_column table, :created_by, :integer
end