Вы удаляете родительский элемент кнопки, но это ячейка, в которой она находится. Чтобы удалить строку, необходимо удалить родительский элемент родителя кнопки:
$(".btnRemove").on("click", function() {
$(this).parent().parent().remove();
});
<script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.3.1/jquery.min.js"></script>
<table>
<tr class="invTr" data-productId="100">
<td>nice title1</td>
<td> <input type="number" class="form-control qty" style="width:75px;" pattern="[0-9]" min="1" max="10000" value="1"> </td>
<td>20</td>
<td>40</td>
<td><button data-ripple="" type="submit" class="bg-primary-darker btn btn-danger btnRemove">click 1</button></td>
</tr>
<tr class="invTr" data-productId="100">
<td>nice title2</td>
<td> <input type="number" class="form-control qty" style="width:75px;" pattern="[0-9]" min="1" max="10000" value="1"> </td>
<td>20</td>
<td>40</td>
<td><button data-ripple="" type="submit" class="bg-primary-darker btn btn-danger btnRemove">click 2</button></td>
</tr>
</table>
В качестве альтернативы вы можете использовать:
$(this).parents("tr").remove();
или:
$(this).closest('tr').remove();