Предполагая, что вы используете pandas 0.25+, вы можете просто написать:
df.row_number = df.row_number.str.split(",")
df.explode("row_number")[["col_name", "row_number"]]
Затем вам нужно будет отфильтровать строки, соответствующие пустым row_numbers, хотя то, как вы это сделаете, будет зависеть от того, как вы представляетете, на первом месте ("", nan и т. д.).