Базовая структура ядра устанавливает уникальное отношение один к одному

Question

У меня есть 2 модели, которые должны быть отношения один к одному

public class Reference
{
    public int Id {get;set;}
    public string Name {get;set;}
}

public class Matrix
{
    public int Id {get;set;}
    public string Name {get;set;}
    public int ReferenceId {get;set;}
    public Reference Reference {get;set; }
}

Одна матрица может иметь только одну ссылку, а одна ссылка может иметь только одну матрицу

Вот проблема, ссылка может существовать без матрицы, ReferenceId должен быть уникальным в матрице

Как я могу это сделать, кроме того, что внешний ключ может быть обнуляемым, но все же уникальным?