Квадратные скобки в zsh имеют особое значение, но в большинстве случаев, возможно, вам просто нужно избежать их, поставив (обратную косую черту) перед ними. Смотри это
Так что со следующей, которая делает escape-строку, она работает:
pip3 install papermill\[s3\]