Установить индекс для группы повторяющихся значений строк в CSV-файле с использованием Python

Question

Я новичок в питоне. Я хочу установить индекс для определенного набора элементов строки, которые повторяются для каждой группы. Мой фрейм данных:

data_dict ={'0_deg': [2, 11, 21, -17, 5, 40, 22, 7, 20, -6, -6, -6, 24, 21, 20, 61, 21, 5, 2, 17], 
 '10_deg': [12, -21, 11, 1, 4, -2, 33, 53, 18, 10, -3, -1, 23, 18, 23, 8, 11, -25, 21, -14], 
 '20_deg': [23, -10, 3, 20, -41, 13, 10, 5, -9, 7, -4, -21, 14, -26, -31, 9, 1, -15, 3, -6], 
 '30_deg': [12, 9, -5, 4, 9, -46, 1, -8, -27, 3, -9, -14, 15, -6, 14, 7, -11, 5, 19, -4]}

data_dict = pd.read_csv('Dataset.csv')
data_dict = data_dict.set_index('Indexes')

#row idx of a group in this list
idx =[4,10,37,109,133]

Здесь список создается как idx , а значения индекса записываются вручную.

Но для большей матрицы из 1000+ индексов (случайных значений) на группу это было бы очень сложной задачей.

Что я хочу, так это чтобы при чтении файла CSV было выбрано 1-е значение в строке и до тех пор, пока одно и то же значение не встречается в том же индексе, оно должно рассматриваться как 1-я группа, а индексы для 1-й группы должны храниться в idx

Например: в моей небольшой версии набора данных из 1-го столбца Indexes 1-е значения, т. Е. 4,10,37,109,133, являются моими индексами для 1-й группы. Эти значения повторяются в той же последовательности для следующих групп. Только они не должны вводиться вручную в коде. Группа должна рассматриваться как единица следующего 4. Значения индекса от 4 до 133 должны рассматриваться как 1 группа в idx . Это потому, что мне нужна idx для дальнейшей части кода.

Мой фактический набор данных имеет более 1000 значений индекса на группу. Поэтому idx должен автоматически принимать все значения группы.

# getting some dimensions and sorting the data
row_idx_length = len(idx) 
group_length = len(data_dict['0_deg'])
number_of_groups = len(data_dict.keys())  
idx = idx*number_of_groups   
data_arr = np.zeros((group_length,number_of_groups),dtype=np.int32) 

Answer 1

Я считаю, что вам нужно numpy.tile с целочисленным делением для числа повторений:

df.index = np.tile(idx, len(df.index) // len(idx))

Но если вы получите ошибку (N и M - это целые числа):

ValueError: Несоответствие длины: ожидаемая ось имеет N элементов, новые значения имеют M элементов

Это означает, что в последней группе отсутствуют некоторые элементы, поэтому добавьте следующую группу по 1 и отфильтруйте по длине index of DataFrame:

#added 150 to idx list
idx =[4,10,37,109,133,150]
df.index = np.tile(idx, len(df.index) // len(idx) + 1)[:len(df.index)]
print (df)          
     0_deg  10_deg  20_deg  30_deg
4        2      12      23      12
10      11     -21     -10       9
37      21      11       3      -5
109    -17       1      20       4
133      5       4     -41       9
150     40      -2      13     -46
4       22      33      10       1
10       7      53       5      -8
37      20      18      -9     -27
109     -6      10       7       3
133     -6      -3      -4      -9
150     -6      -1     -21     -14
4       24      23      14      15
10      21      18     -26      -6
37      20      23     -31      14
109     61       8       9       7
133     21      11       1     -11
150      5     -25     -15       5
4        2      21       3      19
10      17     -14      -6      -4

Answer 2

Если я правильно понимаю ваш вопрос, вам нужно получить idx с данным фреймом с такой настройкой индекса.

data_dict ={'0_deg': [2, 11, 21, -17, 5, 40, 22, 7, 20, -6, -6, -6, 24, 21, 20, 61, 21, 5, 2, 17], 
 '10_deg': [12, -21, 11, 1, 4, -2, 33, 53, 18, 10, -3, -1, 23, 18, 23, 8, 11, -25, 21, -14], 
 '20_deg': [23, -10, 3, 20, -41, 13, 10, 5, -9, 7, -4, -21, 14, -26, -31, 9, 1, -15, 3, -6], 
 '30_deg': [12, 9, -5, 4, 9, -46, 1, -8, -27, 3, -9, -14, 15, -6, 14, 7, -11, 5, 19, -4]}
import pandas as pd
df = pd.DataFrame(data_dict)

idx =[4,10,37,109,133]
df.index = idx * (len(df)//len(idx))

print(df)
#Output:
     0_deg  10_deg  20_deg  30_deg  groups
4        2      12      23      12       1
10      11     -21     -10       9       1
37      21      11       3      -5       1
109    -17       1      20       4       1
133      5       4     -41       9       1
4       40      -2      13     -46       2
10      22      33      10       1       2
37       7      53       5      -8       2
109     20      18      -9     -27       2
133     -6      10       7       3       2
4       -6      -3      -4      -9       3
10      -6      -1     -21     -14       3
37      24      23      14      15       3
109     21      18     -26      -6       3
133     20      23     -31      14       3
4       61       8       9       7       4
10      21      11       1     -11       4
37       5     -25     -15       5       4
109      2      21       3      19       4
133     17     -14      -6      -4       4

После завершения установки вам просто нужно вычислить, где повторяется 0-е значение. Вы можете просто рассчитать его напрямую, но, возможно, более полезно сделать дополнительный столбец для дальнейших вычислений.

temp = df.index == df.index[0]
groups = temp.cumsum()
idx_out = list(df.index[groups == 1])

print(idx_out) #[4, 10, 37, 109, 133]

#Optional:

df['groups'] = groups #can be very useful for aggregations and groupby calculations