Если бы мне пришлось угадывать, я бы сказал, что ваш data.msg имеет значение, которое не допускается в качестве идентификатора для целей выбора (обычно начинающееся с [-a-zA-Z] и содержащее [_- \ da-zA-Z]. Если имя вашего изображения (data.msg) начинается с или является числом, я бы предложил добавить префикс к идентификатору.
В любом случае вы можете сделать это в одном выражении ...
$("<li/>")
.attr("id", data.msg)
.append(
$("<img/>")
.attr("src", "kep.php?kep=upload/"+data.msg+"&w=180;&h=150")
)
.appendTo("#test-list");