Если вы хотите добавить элементы li после 4:
$("#your_ul_id").append('<li>ADDDED TEST 5</li>');
$("#your_ul_id").append('<li>ADDDED TEST 6</li>');
Если вы хотите добавить элементы li между 2 и 3, используйте это:
$("ul li:nth-child(2)").after($("<li>").text("ADDDED TEST 2.1"));
$("ul li:nth-child(3)").after($("<li>").text("ADDDED TEST 2.2"));
ИЛИ
$("ul li:nth-child(2)").after('<li>ADDDED TEST 2.1</li><li>ADDDED TEST 2.2</li>');