Вам нужны два разных отношения для каждой модели с разными именами, но одного и того же класса.Кроме того, у вас есть отношение многие ко многим между посетителями и событиями.
Пользователь
has_many :organized_events, class_name: "Event"
has_and_belongs_to_many :attended_events, class_name: "Event"
Событие:
belongs_to :organizer, class_name: "User"
has_and_belongs_to_many :attendees, class_name: "User"