По состоянию на 2019-04-09 не существует стандартного способа сделать это. Вы нашли метод Worker.set_resources, который разумно использовать. В конце концов я бы также ожидал, что плагины Worker справятся с этим, но они не реализованы.
Для вашего приложения контроля доступа к базе данных, похоже, что вы действительно ищете семафор. Вы можете помочь построить один (это на самом деле довольно просто, учитывая текущую реализацию Lock), или вы можете использовать Dask Queue для имитации одного.