Да, и это именно то, что он делает.
Убедитесь сами, добавив оператор печати:
matrix = [[4,5,6,7],[2,4,9,3]]
i=0
while i<len(matrix):
j=0
while j<len(matrix[i]):
print 'i = {}, j = {}, element = {}'.format(i,j,matrix[i][j])
print matrix[i][j]
j=j+1
i=i+1
Кстати, это очень непитонный способ зацикливания в python.Это эквивалентно и более подходит для языка:
matrix = [[4,5,6,7],[2,4,9,3]]
for row in matrix:
for element in row:
print element