Вы должны использовать foreign_key также в модели Relation, поэтому для own_to также есть foreign_key. Точнее, это то, что вам нужно:
class Relation < ActiveRecord::Base
belongs_to :book, :foreign_key => :left_id
belongs_to :author, :foreign_key => :right_id
end
и другие модели должны быть:
class Book < ActiveRecord::Base
has_many :relations, :foreign_key => :left_id
has_many :authors, :through => :relations
end
class Author < ActiveRecord::Base
has_many :relations, :foreign_key => :right_id
has_many :books, :through => :relations
end