深圳手机网站开发,xp 做网站服务器吗,科技尽头,桥梁建设杂志有假网站吗文章目录 一、长宽表的变形1.pivot2.pivot_table3.melt4.wide_to_long 二、索引的变形1.stack与unstack2.聚合与变形的关系 三、其他变形函数1.crosstab2.explode3.get_dummies 一、长宽表的变形
什么是长表#xff1f;什么是宽表#xff1f;这个概念是对于某一个特征而言的… 文章目录 一、长宽表的变形1.pivot2.pivot_table3.melt4.wide_to_long 二、索引的变形1.stack与unstack2.聚合与变形的关系 三、其他变形函数1.crosstab2.explode3.get_dummies 一、长宽表的变形
什么是长表什么是宽表这个概念是对于某一个特征而言的。例如一个表中把性别存储在某一个列中那么它就是关于性别的长表如果把性别作为列名列中的元素是某一其他的相关特征数值那么这个表是关于性别的宽表。下面的两张表就分别是关于性别的长表和宽表
pd.DataFrame({Gender:[F,F,M,M], Height:[163, 160, 175, 180]})
# Gender Height
#0 F 163
#1 F 160
#2 M 175
#3 M 180pd.DataFrame({Height: F:[163, 160], Height: M:[175, 180]})
# Height: F Height: M
#0 163 175
#1 160 180显然这两张表从信息上是完全等价的它们包含相同的身高统计数值只是这些数值的呈现方式不同而其呈现方式主要又与性别一列选择的布局模式有关即到底是以 long的状态存储还是以 wide的状态存储。因此pandas针对此类长宽表的变形操作设计了一些有关的变形函数。
1.pivot
pivot是一种典型的长表变宽表的函数首先来看一个例子下表存储了张三和李四的语文和数学分数现在想要把语文和数学分数作为列来展示。
df pd.DataFrame({Class:[1,1,2,2],Name:[San Zhang,San Zhang,Si Li,Si Li],Subject:[Chinese,Math,Chinese,Math],Grade:[80,75,90,85]})
df
# Class Name Subject Grade
#0 1 San Zhang Chinese 80
#1 1 San Zhang Math 75
#2 2 Si Li Chinese 90
#3 2 Si Li Math 85对于一个基本的长变宽操作而言最重要的有三个要素分别是变形后的行索引、需要转到列索引的列以及这些列和行索引对应的数值它们分别对应了pivot方法中的index, columns, values参数。新生成表的列索引是columns对应列的unique值而新表的行索引是index对应列的unique值而values对应了想要展示的数值列。
df.pivot(indexName, columnsSubject, valuesGrade)
#Subject Chinese Math
#Name
#San Zhang 80 75
#Si Li 90 85pandas从1.1.0开始pivot相关的三个参数允许被设置为列表这也意味着会返回多级索引。这里构造一个相应的例子来说明如何使用下表中六列分别为班级、姓名、测试类型期中考试和期末考试、科目、成绩、排名。
df pd.DataFrame({Class:[1, 1, 2, 2, 1, 1, 2, 2],Name:[San Zhang, San Zhang, Si Li, Si Li,San Zhang, San Zhang, Si Li, Si Li],Examination: [Mid, Final, Mid, Final,Mid, Final, Mid, Final],Subject:[Chinese, Chinese, Chinese, Chinese,Math, Math, Math, Math],Grade:[80, 75, 85, 65, 90, 85, 92, 88],rank:[10, 15, 21, 15, 20, 7, 6, 2]})
df
# Class Name Examination Subject Grade rank
#0 1 San Zhang Mid Chinese 80 10
#1 1 San Zhang Final Chinese 75 15
#2 2 Si Li Mid Chinese 85 21
#3 2 Si Li Final Chinese 65 15
#4 1 San Zhang Mid Math 90 20
#5 1 San Zhang Final Math 85 7
#6 2 Si Li Mid Math 92 6
#7 2 Si Li Final Math 88 2现在想要把测试类型和科目联合组成的四个类别期中语文、期末语文、期中数学、期末数学转到列索引并且同时统计成绩和排名
pivot_multi df.pivot(index [Class, Name],columns [Subject,Examination],values [Grade,rank])
pivot_multi
# Grade rankSubject Chinese Math Chinese MathExamination Mid Final Mid Final Mid Final Mid Final
Class Name
1 San Zhang 80 75 90 85 10 15 20 7
2 Si Li 85 65 92 88 21 15 6 22.pivot_table
pivot的使用依赖于唯一性条件那如果不满足唯一性条件那么必须通过聚合操作使得相同行列组合对应的多个值变为一个值。例如张三和李四都参加了两次语文考试和数学考试按照学院规定最后的成绩是两次考试分数的平均值此时就无法通过pivot函数来完成。
df pd.DataFrame({Name:[San Zhang, San Zhang, San Zhang, San Zhang,Si Li, Si Li, Si Li, Si Li],Subject:[Chinese, Chinese, Math, Math,Chinese, Chinese, Math, Math],Grade:[80, 90, 100, 90, 70, 80, 85, 95]})
df
# Name Subject Grade
#0 San Zhang Chinese 80
#1 San Zhang Chinese 90
#2 San Zhang Math 100
#3 San Zhang Math 90
#4 Si Li Chinese 70
#5 Si Li Chinese 80
#6 Si Li Math 85
#7 Si Li Math 95pandas中提供了pivot_table来实现其中的aggfunc参数就是使用的聚合函数。上述场景可以如下写出
df.pivot_table(index Name,columns Subject,values Grade,aggfunc mean)
#Subject Chinese Math
#Name
#San Zhang 85 95
#Si Li 75 90这里传入aggfunc包含了上一章中介绍的所有合法聚合字符串此外还可以传入以序列为输入标量为输出的聚合函数来实现自定义操作上述功能可以等价写出
df.pivot_table(index Name,columns Subject,values Grade,aggfunc lambda x:x.mean())
#Subject Chinese Math
#Name
#San Zhang 85 95
#Si Li 75 90此外pivot_table具有边际汇总的功能可以通过设置marginsTrue来实现其中边际的聚合方式与aggfunc中给出的聚合方法一致。下面就分别统计了语文均分和数学均分、张三均分和李四均分以及总体所有分数的均分
df.pivot_table(index Name,columns Subject,values Grade,aggfuncmean,marginsTrue)
#Subject Chinese Math All
#Name
#San Zhang 85 95.0 90.00
#Si Li 75 90.0 82.50
#All 80 92.5 86.253.melt
长宽表只是数据呈现方式的差异但其包含的信息量是等价的前面提到了利用pivot把长表转为宽表那么就可以通过相应的逆操作把宽表转为长表melt函数就起到了这样的作用。在下面的例子中Subject以列索引的形式存储现在想要将其压缩到一个列中。
df pd.DataFrame({Class:[1,2],Name:[San Zhang, Si Li],Chinese:[80, 90],Math:[80, 75]})
df
# Class Name Chinese Math
#0 1 San Zhang 80 80
#1 2 Si Li 90 75df_melted df.melt(id_vars [Class, Name],value_vars [Chinese, Math],var_name Subject,value_name Grade)
df_melted
# Class Name Subject Grade
#0 1 San Zhang Chinese 80
#1 2 Si Li Chinese 90
#2 1 San Zhang Math 80
#3 2 Si Li Math 75前面提到了melt和pivot是一组互逆过程那么就一定可以通过pivot操作把df_melted转回df的形式
df_unmelted df_melted.pivot(index [Class, Name],columnsSubject,valuesGrade)
df_unmelted # 下面需要恢复索引并且重命名列索引名称
# Subject Chinese Math
#Class Name
#1 San Zhang 80 80
#2 Si Li 90 75df_unmelted df_unmelted.reset_index().rename_axis(columns{Subject:})
df_unmelted.equals(df)
#True4.wide_to_long
melt方法中在列索引中被压缩的一组值对应的列元素只能代表同一层次的含义即values_name。现在如果列中包含了交叉类别比如期中期末的类别和语文数学的类别那么想要把values_name对应的Grade扩充为两列分别对应语文分数和数学分数只把期中期末的信息压缩这种需求下就要使用wide_to_long函数来完成。
df pd.DataFrame({Class:[1,2],Name:[San Zhang, Si Li],Chinese_Mid:[80, 75], Math_Mid:[90, 85],Chinese_Final:[80, 75], Math_Final:[90, 85]})
df
# Class Name Chinese_Mid Math_Mid Chinese_Final Math_Final
#0 1 San Zhang 80 90 80 90
#1 2 Si Li 75 85 75 85pd.wide_to_long(df,stubnames[Chinese, Math],i [Class, Name],jExamination,sep_,suffix.)
# Chinese Math
#Class Name Examination
#1 San Zhang Mid 80 90
# Final 80 90
#2 Si Li Mid 75 85
# Final 75 85下面给出一个比较复杂的案例把之前在pivot一节中多列操作的结果产生了多级索引利用wide_to_long函数将其转为原来的形态。其中使用了str.split函数目前暂时只需将其理解为对序列按照某个分隔符进行拆分即可。
res pivot_multi.copy()
res.columns res.columns.map(lambda x:_.join(x))
res res.reset_index()
res pd.wide_to_long(res, stubnames[Grade, rank],i [Class, Name],j Subject_Examination,sep _,suffix .)
res
# Grade rank
#Class Name Subject_Examination
#1 San Zhang Chinese_Mid 80 10
# Chinese_Final 75 15
# Math_Mid 90 20
# Math_Final 85 7
#2 Si Li Chinese_Mid 85 21
# Chinese_Final 65 15
# Math_Mid 92 6
# Math_Final 88 2res res.reset_index()
res[[Subject, Examination]] res[Subject_Examination].str.split(_, expandTrue)
res res[[Class, Name, Examination, Subject, Grade, rank]].sort_values(Subject)
res res.reset_index(dropTrue)
res
# Class Name Examination Subject Grade rank
#0 1 San Zhang Mid Chinese 80 10
#1 1 San Zhang Final Chinese 75 15
#2 2 Si Li Mid Chinese 85 21
#3 2 Si Li Final Chinese 65 15
#4 1 San Zhang Mid Math 90 20
#5 1 San Zhang Final Math 85 7
#6 2 Si Li Mid Math 92 6
#7 2 Si Li Final Math 88 2二、索引的变形
1.stack与unstack
在Pandas实践_pandas基础中提到了利用swaplevel或者reorder_levels进行索引内部的层交换下面就要讨论 行列索引之间 的交换由于这种交换带来了DataFrame维度上的变化因此属于变形操作。在第一节中提到的4种变形函数与其不同之处在于它们都属于某一列或几列 元素和 列索引 之间的转换而不是索引之间的转换。
unstack函数的作用是把行索引转为列索引例如下面这个简单的例子
df pd.DataFrame(np.ones((4,2)),index pd.Index([(A, cat, big),(A, dog, small),(B, cat, big),(B, dog, small)]),columns[col_1, col_2])
df
# col_1 col_2
#A cat big 1.0 1.0
# dog small 1.0 1.0
#B cat big 1.0 1.0
# dog small 1.0 1.0df.unstack()
# col_1 col_2
# big small big small
#A cat 1.0 NaN 1.0 NaN
# dog NaN 1.0 NaN 1.0
#B cat 1.0 NaN 1.0 NaN
# dog NaN 1.0 NaN 1.0unstack的主要参数是移动的层号默认转化最内层移动到列索引的最内层同时支持同时转化多个层
df.unstack(2)
# col_1 col_2
# big small big small
#A cat 1.0 NaN 1.0 NaN
# dog NaN 1.0 NaN 1.0
#B cat 1.0 NaN 1.0 NaN
# dog NaN 1.0 NaN 1.0df.unstack([0,2])
# col_1 col_2
# A B A B
# big small big small big small big small
#cat 1.0 NaN 1.0 NaN 1.0 NaN 1.0 NaN
#dog NaN 1.0 NaN 1.0 NaN 1.0 NaN 1.0类似于pivot中的唯一性要求在unstack中必须保证 被转为列索引的行索引层 和 被保留的行索引层 构成的组合是唯一的例如把前两个列索引改成相同的破坏唯一性那么就会报错
my_index df.index.to_list()
my_index[1] my_index[0]
df.index pd.Index(my_index)
df
# col_1 col_2
#A cat big 1.0 1.0
# big 1.0 1.0
#B cat big 1.0 1.0
# dog small 1.0 1.0与 unstack 相反stack的作用就是把列索引的层压入行索引其用法完全类似。
df pd.DataFrame(np.ones((4,2)),index pd.Index([(A, cat, big),(A, dog, small),(B, cat, big),(B, dog, small)]),columns[index_1, index_2]).T
df
# A B
# cat dog cat dog
# big small big small
#index_1 1.0 1.0 1.0 1.0
#index_2 1.0 1.0 1.0 1.0df.stack()
# A B
# cat dog cat dog
#index_1 big 1.0 NaN 1.0 NaN
# small NaN 1.0 NaN 1.0
#index_2 big 1.0 NaN 1.0 NaN
# small NaN 1.0 NaN 1.0df.stack([1, 2])
# A B
#index_1 cat big 1.0 1.0
# dog small 1.0 1.0
#index_2 cat big 1.0 1.0
# dog small 1.0 1.02.聚合与变形的关系
在上面介绍的所有函数中除了带有聚合效果的pivot_table以外所有的函数在变形前后并不会带来values个数的改变只是这些值在呈现的形式上发生了变化。在上一节讨论的分组聚合操作由于生成了新的行列索引因此必然也属于某种特殊的变形操作但由于聚合之后把原来的多个值变为了一个值因此values的个数产生了变化这也是分组聚合与变形函数的最大区别。
三、其他变形函数
1.crosstab
crosstab是一个地位尴尬的函数因为它能实现的所有功能pivot_table都能完成。在默认状态下crosstab可以统计元素组合出现的频数即count操作。例如统计learn_pandas数据集中学校和转系情况对应的频数
df pd.read_csv(../data/learn_pandas.csv)
pd.crosstab(index df.School, columns df.Transfer)
#Transfer N Y
#School
#Fudan University 38 1
#Peking University 28 2
#Shanghai Jiao Tong University 53 0
#Tsinghua University 62 4这等价于如下crosstab的如下写法这里的aggfunc即聚合参数
pd.crosstab(index df.School, columns df.Transfer, values [0]*df.shape[0], aggfunc count)
#Transfer N Y
#School
#Fudan University 38.0 1.0
#Peking University 28.0 2.0
#Shanghai Jiao Tong University 53.0 NaN
#Tsinghua University 62.0 4.0同样可以利用pivot_table进行等价操作由于这里统计的是组合的频数因此values参数无论传入哪一个列都不会影响最后的结果
df.pivot_table(index School,columns Transfer,values Name,aggfunc count)
#Transfer N Y
#School
#Fudan University 38.0 1.0
#Peking University 28.0 2.0
#Shanghai Jiao Tong University 53.0 NaN
#Tsinghua University 62.0 4.0从上面可以看出这两个函数的区别在于crosstab的对应位置传入的是具体的序列而pivot_table传入的是被调用表对应的名字若传入序列对应的值则会报错。
除了默认状态下的count统计所有的聚合字符串和返回标量的自定义函数都是可用的例如统计对应组合的身高均值
pd.crosstab(index df.School, columns df.Transfer, values df.Height, aggfunc mean)
#Transfer N Y
#School
#Fudan University 162.043750 177.20
#Peking University 163.429630 162.40
#Shanghai Jiao Tong University 163.953846 NaN
#Tsinghua University 163.253571 164.552.explode
explode参数能够对某一列的元素进行纵向的展开被展开的单元格必须存储list, tuple, Series, np.ndarray中的一种类型。
df_ex pd.DataFrame({A: [[1, 2], my_str, {1, 2}, pd.Series([3, 4])],B: 1})
df_ex
# A B
#0 [1, 2] 1
#1 my_str 1
#2 {1, 2} 1
#3 0 3 ,1 4 ,dtype: int64 1df_ex.explode(A)
# A B
#0 1 1
#0 2 1
#1 my_str 1
#2 1 1
#2 2 1
#3 3 1
#3 4 13.get_dummies
get_dummies是用于特征构建的重要函数之一其作用是把类别特征转为指示变量。例如对年级一列转为指示变量属于某一个年级的对应列标记为1否则为0
pd.get_dummies(df.Grade).head()
# Freshman Junior Senior Sophomore
#0 1 0 0 0
#1 1 0 0 0
#2 0 0 1 0
#3 0 0 0 1
#4 0 0 0 1参考阿里云天池
