Cómo agrupar filas de marcos de datos en una lista en pandas groupby
Dado un marco de datos, quiero agrupar por la primera columna y obtener la segunda columna como listas en filas, de modo que un marco de datos como:
a b
A 1
A 2
B 5
B 5
B 4
C 6
se convierte
A [1,2]
B [5,5,4]
C [6]
¿Cómo hago esto?
Aceptado
Puede hacer esto agrupando groupbyen la columna de interés y luego apply listen cada grupo:
In [1]: df = pd.DataFrame( {'a':['A','A','B','B','B','C'], 'b':[1,2,5,5,4,6]})
df
Out[1]:
a b
0 A 1
1 A 2
2 B 5
3 B 5
4 B 4
5 C 6
In [2]: df.groupby('a')['b'].apply(list)
Out[2]:
a
A [1, 2]
B [5, 5, 4]
C [6]
Name: b, dtype: object
In [3]: df1 = df.groupby('a')['b'].apply(list).reset_index(name='new')
df1
Out[3]:
a new
0 A [1, 2]
1 B [5, 5, 4]
2 C [6]
Una forma práctica de lograr esto sería:
df.groupby('a').agg({'b':lambda x: list(x)})
Considere escribir agregaciones personalizadas: https://www.kaggle.com/akshaysehgal/how-to-group-by-aggregate-using-py
Si el rendimiento es importante, baje al nivel numpy:
import numpy as np
df = pd.DataFrame({'a': np.random.randint(0, 60, 600), 'b': [1, 2, 5, 5, 4, 6]*100})
def f(df):
keys, values = df.sort_values('a').values.T
ukeys, index = np.unique(keys, True)
arrays = np.split(values, index[1:])
df2 = pd.DataFrame({'a':ukeys, 'b':[list(a) for a in arrays]})
return df2
Pruebas:
In [301]: %timeit f(df)
1000 loops, best of 3: 1.64 ms per loop
In [302]: %timeit df.groupby('a')['b'].apply(list)
100 loops, best of 3: 5.26 ms per loop
Para resolver esto para varias columnas de un marco de datos:
In [5]: df = pd.DataFrame( {'a':['A','A','B','B','B','C'], 'b':[1,2,5,5,4,6],'c'
...: :[3,3,3,4,4,4]})
In [6]: df
Out[6]:
a b c
0 A 1 3
1 A 2 3
2 B 5 3
3 B 5 4
4 B 4 4
5 C 6 4
In [7]: df.groupby('a').agg(lambda x: list(x))
Out[7]:
b c
a
A [1, 2] [3, 3]
B [5, 5, 4] [3, 4, 4]
C [6] [4]
Esta respuesta se inspiró en la respuesta de Anamika Modi . ¡Gracias!
