Вам просто нужно отбросить внутренние одинарные кавычки.
#!/bin/bash
IP_PUBLIC="192.168.0.1"
ssh -oStrictHostKeyChecking=no root@"$IP_PUBLIC" '
COMMUNITY=$(uname -n);
echo "$COMMUNITY";
'
Внешние одинарные кавычки уже защищают все внутри них от локальной оболочки;удаленная оболочка получает
COMMUNITY=$(uname -n);
echo "$COMMUNITY"
для выполнения, что правильно указано в кавычках.