pandas: filtra filas de DataFrame con encadenamiento de operadores
La mayoría de las operaciones se pandaspueden realizar con el encadenamiento de operadores ( groupby,,, etc.), pero la única forma que he encontrado de filtrar filas es mediante la indexación de corchetes normal aggregate.apply
df_filtered = df[df['column'] == value]
Esto no es atractivo ya que requiere que asigne dfuna variable antes de poder filtrar sus valores. ¿Hay algo más parecido a lo siguiente?
df_filtered = df.mask(lambda x: x['column'] == value)
No estoy del todo seguro de lo que quieres y tu última línea de código tampoco ayuda, pero de todos modos:
El filtrado "encadenado" se realiza "encadenando" los criterios en el índice booleano.
In [96]: df
Out[96]:
A B C D
a 1 4 9 1
b 4 5 0 2
c 5 5 1 0
d 1 3 9 6
In [99]: df[(df.A == 1) & (df.D == 6)]
Out[99]:
A B C D
d 1 3 9 6
Si desea encadenar métodos, puede agregar su propio método de máscara y usarlo.
In [90]: def mask(df, key, value):
....: return df[df[key] == value]
....:
In [92]: pandas.DataFrame.mask = mask
In [93]: df = pandas.DataFrame(np.random.randint(0, 10, (4,4)), index=list('abcd'), columns=list('ABCD'))
In [95]: df.ix['d','A'] = df.ix['a', 'A']
In [96]: df
Out[96]:
A B C D
a 1 4 9 1
b 4 5 0 2
c 5 5 1 0
d 1 3 9 6
In [97]: df.mask('A', 1)
Out[97]:
A B C D
a 1 4 9 1
d 1 3 9 6
In [98]: df.mask('A', 1).mask('D', 6)
Out[98]:
A B C D
d 1 3 9 6
Los filtros se pueden encadenar mediante una consulta de Pandas :
df = pd.DataFrame(np.random.randn(30, 3), columns=['a','b','c'])
df_filtered = df.query('a > 0').query('0 < b < 2')
Los filtros también se pueden combinar en una sola consulta:
df_filtered = df.query('a > 0 and 0 < b < 2')
La respuesta de @lodagro es genial. Lo ampliaría generalizando la función de máscara como:
def mask(df, f):
return df[f(df)]
Entonces puedes hacer cosas como:
df.mask(lambda x: x[0] < 0).mask(lambda x: x[1] > 0)
Desde la versión 0.18.1, el .locmétodo acepta un invocable para su selección. Junto con las funciones lambda puedes crear filtros encadenables muy flexibles:
import numpy as np
import pandas as pd
df = pd.DataFrame(np.random.randint(0,100,size=(100, 4)), columns=list('ABCD'))
df.loc[lambda df: df.A == 80] # equivalent to df[df.A == 80] but chainable
df.sort_values('A').loc[lambda df: df.A > 80].loc[lambda df: df.B > df.A]
Si todo lo que estás haciendo es filtrar, también puedes omitir el archivo .loc.
