попробуйте это, создайте псевдо-столбец sort
отсортируйте на его основе и отбросьте
df = pd.DataFrame({"classes": [7, 2], "boxes": [[0.04913859, 0.35264254, 0.15933079, 0.64380944],
[0.8299769, 0.27715018, 0.91143125, 0.54477763]],
"scores": [0.999721, 0.999397]})
df['sort'] = df['boxes'].apply(lambda x: x[0])
df.sort_values(by='sort', ascending=False).drop(columns=['sort'])
classes boxes scores
1 2 [0.8299769, 0.27715018, 0.91143125, 0.54477763] 0.999397
0 7 [0.04913859, 0.35264254, 0.15933079, 0.64380944] 0.999721