В зависимости от используемой ОС, вам сначала нужно установить библиотеку GNU Scientific Library (GSL) (пакет разработки).
На моем компьютере с Linux Mint это:
sudo apt-get install libgsl-dev
Затем вы можете установить пакет:
BiocManager::install("DirichletMultinomial")