Не уверен, правильный ли это способ сделать это или нет, но у меня он работает. Если есть лучший способ сделать это, то я весь в ушах!
string _connectionString;
public MyDbContext(DbContextOptions<MyDbContext> options) : base(options)
{
string appSettings = String.Concat(Directory.GetCurrentDirectory(), "/appsettings.json");
var configurationSettings = new ConfigurationBuilder().AddJsonFile(appSettings).Build();
_connectionString = configurationSettings["ConnectionStrings:DefaultConnection"];
}