Resumiendo varias columnas con data.table
Estoy intentando utilizar data.table para acelerar el procesamiento de un data.frame grande (300k x 60) formado por varios data.frames fusionados más pequeños. Soy nuevo en data.table. El código hasta el momento es el siguiente
library(data.table)
a = data.table(index=1:5,a=rnorm(5,10),b=rnorm(5,10),z=rnorm(5,10))
b = data.table(index=6:10,a=rnorm(5,10),b=rnorm(5,10),c=rnorm(5,10),d=rnorm(5,10))
dt = merge(a,b,by=intersect(names(a),names(b)),all=T)
dt$category = sample(letters[1:3],10,replace=T)
y me preguntaba si había una manera más eficiente que la siguiente de resumir los datos.
summ = dt[i=T,j=list(a=sum(a,na.rm=T),b=sum(b,na.rm=T),c=sum(c,na.rm=T),
d=sum(d,na.rm=T),z=sum(z,na.rm=T)),by=category]
Realmente no quiero escribir todos los cálculos de 50 columnas a mano y eval(paste(...))de alguna manera parece torpe.
Eché un vistazo al ejemplo a continuación, pero parece un poco complicado para mis necesidades. gracias
cómo resumir una tabla de datos en varias columnas
Puedes usar una lapplydeclaración simple con.SD
dt[, lapply(.SD, sum, na.rm=TRUE), by=category ]
category index a b z c d
1: c 19 51.13289 48.49994 42.50884 9.535588 11.53253
2: b 9 17.34860 20.35022 10.32514 11.764105 10.53127
3: a 27 25.91616 31.12624 0.00000 29.197343 31.71285
Si solo desea resumir ciertas columnas, puede agregar el .SDcolsargumento
# note that .SDcols also allows reordering of the columns
dt[, lapply(.SD, sum, na.rm=TRUE), by=category, .SDcols=c("a", "c", "z") ]
category a c z
1: c 51.13289 9.535588 42.50884
2: b 17.34860 11.764105 10.32514
3: a 25.91616 29.197343 0.00000
Por supuesto, esto no se limita a sumy puede utilizar cualquier función con lapply, incluidas las funciones anónimas. (es decir, es una lapplydeclaración regular).
Por último, no es necesario utilizar i=Ty j= <..>. Personalmente, creo que eso hace que el código sea menos legible, pero es sólo una preferencia de estilo.
Documentación
Consulte ?.SDy ?data.tablesu .SDcolsargumento, y la viñeta Uso de .SD para análisis de datos .
Eche también un vistazo a data.table la pregunta frecuente 2.1 .
