Utilice pandas.shift() dentro de un grupo
Tengo un marco de datos con datos de panel, digamos que son series de tiempo para 100 objetos diferentes:
object period value
1 1 24
1 2 67
...
1 1000 56
2 1 59
2 2 46
...
2 1000 64
3 1 54
...
100 1 451
100 2 153
...
100 1000 21
Quiero agregar una nueva columna prev_valueque almacenará la anterior valuepara cada objeto:
object period value prev_value
1 1 24 nan
1 2 67 24
...
1 99 445 1243
1 1000 56 445
2 1 59 nan
2 2 46 59
...
2 1000 64 784
3 1 54 nan
...
100 1 451 nan
100 2 153 451
...
100 1000 21 1121
¿Puedo usar .shift()y .groupby()de alguna manera hacer eso?
Los objetos agrupados de Pandas tienen un groupby.DataFrameGroupBy.shiftmétodo que desplazará una columna específica en cada grupo n periods , al igual que el shiftmétodo del marco de datos normal:
df['prev_value'] = df.groupby('object')['value'].shift()
Para el siguiente marco de datos de ejemplo:
print(df)
object period value
0 1 1 24
1 1 2 67
2 1 4 89
3 2 4 5
4 2 23 23
El resultado sería:
object period value prev_value
0 1 1 24 NaN
1 1 2 67 24.0
2 1 4 89 67.0
3 2 4 5 NaN
4 2 23 23 5.0
Si su DataFrame ya está ordenado por claves de agrupación, puede usar una sola shiften todo el DataFrame y whereen NaNlas filas que se desbordan en el siguiente grupo. Para DataFrames más grandes con muchos grupos, esto puede ser un poco más rápido.
df['prev_value'] = df['value'].shift().where(df.object.eq(df.object.shift()))
object period value prev_value
0 1 1 24 NaN
1 1 2 67 24.0
2 1 4 89 67.0
3 2 4 5 NaN
4 2 23 23 5.0
Algunos tiempos relacionados con el rendimiento:
import perfplot
import pandas as pd
import numpy as np
perfplot.show(
setup=lambda N: pd.DataFrame({'object': np.repeat(range(N), 5),
'value': np.random.randint(1, 1000, 5*N)}),
kernels=[
lambda df: df.groupby('object')['value'].shift(),
lambda df: df['value'].shift().where(df.object.eq(df.object.shift())),
],
labels=["GroupBy", "Where"],
n_range=[2 ** k for k in range(1, 22)],
equality_check=lambda x,y: np.allclose(x, y, equal_nan=True),
xlabel="# of Groups"
)
