С точки зрения моделирования данных, вам нужна таблица связей примечаний к сущности для каждой из ваших таблиц сущностей (я знаю, что на самом деле это могут быть не таблицы, но вы использовали слово "сущность" :)).
Моделирование оттуда становится довольно легким.
Каждый из объектов ссылок ссылается на одну таблицу примечаний.
EF4 будет абстрагировать многие-многие отношения для простых таблиц ссылок (без общей таблицы заметок), но я подозреваю, что проще моделировать ссылки явно в вашем случае.
Это также позволит вам добавить «полезную нагрузку» к ссылкам, то есть дополнительную информацию, которая относится к самой ссылке.