EF Core 1-ко-многим без настройки стороны "многие"

Question

Я бы хотел иметь связь Один файл со многими пользователями, но я не хочу иметь List<File> в классе пользователя

Я обнаружил, что могу просто использовать HasOne() во время настройки, но Как я могу указать, какое свойство является фактическим ForeignKey?

public class File
{
    ...
    public Guid UploadedById { get; set; }

    public User UploadedBy { get; set; }
}

public class User
{
    I don't want to have 

    public List<File> Files { get; set; } = new List<File>();

    here
}

public class FileConfiguration : IEntityTypeConfiguration<File>
{
    public void Configure(EntityTypeBuilder<File> builder)
    {
        builder.HasKey(x => x.Id);
        builder.HasOne(x => x.UploadedBy)... how to specify key?
    }
}