Из того, что я понимаю, ваши полиморфные ассоциации - это именно то, что вам нужно, так как у Пользователей много Заметок, а у Задач много Заметок.
Отношения будут выглядеть следующим образом
вкак user.rb, так и task.rb
has_many :notes, :as => :noteable
в note.rb
belongs_to :noteable, :polymorphic => true
в вашей миграции создания заметок
t.references :noteable, :polymorphic => true
Обратите внимание, что пользователи и задачи могутиметь заметки, и заметки могут принадлежать как пользователю, так и задаче (или чему-либо еще, соединяющемуся с помощью заметного полиморфного интерфейса).