域名租赁网站,广州网站建设网站开发,百度经验首页官网,网站前台右侧怎么做二维码引言
本次给大家介绍一个功能超强的数据处理函数transform#xff0c;相信很多朋友也用过#xff0c;这里再次进行详细分享下。
transform有4个比较常用的功能#xff0c;总结如下#xff1a; 转换数值 合并分组结果 过滤数据 结合分组处理缺失值
一. 转换数值
pd.…引言
本次给大家介绍一个功能超强的数据处理函数transform相信很多朋友也用过这里再次进行详细分享下。
transform有4个比较常用的功能总结如下 转换数值 合并分组结果 过滤数据 结合分组处理缺失值
一. 转换数值
pd.transform(func, axis0)以上就是transform转换数值的基本用法参数含义如下 func是指定用于处理数据的函数它可以是普通函数、字符串函数名称、函数列表或轴标签映射函数的字典。 axis是指要应用到哪个轴0代表列1代表行。
1. 普通函数
func可以是我们正常使用的普通函数像下面例子这样自定义一个函数。
df pd.DataFrame({A: [1,2,3], B: [10,20,30] })
def plus_10(x):return x10
df.transform(plus_10)或者也可以用lambda函数简洁的实现效果是一样的。
df.transform(lambda x: x10)2. 字符串函数
也可以传递任何有效的pandas内置的字符串函数例如sqrt
df.transform(sqrt)3. 函数列表
func还可以是一个函数的列表。例如numpy的sqrt和exp函数的列表组合
df.transform([np.sqrt, np.exp])通过上面结果看到两个函数分别作用于A和B每个列。
4. 轴标签映射函数的字典
如果我们只想将指定函数作用于某一列该如何操作
func还可以是轴标签映射指定函数的字典。例如
df.transform({A: np.sqrt,B: np.exp,
})这样就可以对A和BL两列分别使用相应函数了互补干扰。
二、合并分组结果
这个功能是东哥最喜欢的有点类似SQL的窗口函数就是可以合并grouby()的分组结果。用一个例子说明
df pd.DataFrame({restaurant_id: [101,102,103,104,105,106,107],address: [A,B,C,D, E, F, G],city: [London,London,London,Oxford,Oxford, Durham, Durham],sales: [10,500,48,12,21,22,14]
})我们可以看到每个城市都有多家销售餐厅。我们现在想知道每家餐厅在城市中所占的销售百分比是多少。 预期输出为 传统方法是先groupby分组结合apply计算分组求和再用merge合并原表然后再apply计算百分比。
但其实用transform可以直接代替前面两个步骤分组求和、合并简单明了。
首先用transform结合groupby按城市分组计算销售总和。
df[city_total_sales] df.groupby(city)[sales].transform(sum)可以看到使用transfrom计算分组的求和并不会像apply一样改变原表的结构而是直接在原表的基础上再增加一列。
这样就可以一步到位得到我们想要的格式。
然后再计算百分比调整格式搞定。
df[pct] df[sales] / df[city_total_sales]
df[pct] df[pct].apply(lambda x: format(x, .2%))三、过滤数据
transform也可以用来过滤数据。仍用上个例子我们希望获得城市总销售额超过40的记录那么就可以这样使用。
df[df.groupby(city)[sales].transform(sum) 40]上面结果来看并没有生成新的列而是通过汇总计算求和直接对原表进行了筛选非常优雅。
四、结合分组处理缺失值
df pd.DataFrame({name: [A, A, B, B, B, C, C, C],value: [1, np.nan, np.nan, 2, 8, 2, np.nan, 3]
})
在上面的示例中数据可以按name分为三组A、B、C每组都有缺失值。我们知道替换缺失值的常见的方法是用mean替换NaN。下面是每个组中的平均值。
df.groupby(name)[value].mean()
name
A 1.0
B 5.0
C 2.5
Name: value, dtype: float64我们可以通过transform()使用每组平均值来替换缺失值。用法如下
df[value] df.groupby(name).transform(lambda x: x.fillna(x.mean()))
