Пользовательские средства форматирования используются для форматирования данных ячейки (= текст). Насколько я знаю, они не знают о фактической ячейке (имеется в виду объект jquery), а только о ее значении.
Но обычно jqGrid назначает идентификаторы всем строкам, поэтому установка цвета фона, если вы знаете, что идентификатор строк должен быть только вопросом установки цвета фона всех дочерних элементов td этой строки.
$(rowid).children("td").css('background-color', "#5E5E5E");