军队房地产与建设工程法律实务在哪个网站可以购买,手机怎么连接海外线路,泰安微网站建设,齐家网装修平台日常工作中#xff0c;每个月都会遇到那么个固定的工作#xff0c;将业务方同事整理的数据导入GP数据库中的某张表中#xff1b;听起来是很简单的活呢#xff01;
但每次业务MM总会发来一个文件夹#xff0c;里面有三四十个Excel文件#xff08;.xlsx格式#xff0c;且字…日常工作中每个月都会遇到那么个固定的工作将业务方同事整理的数据导入GP数据库中的某张表中听起来是很简单的活呢
但每次业务MM总会发来一个文件夹里面有三四十个Excel文件.xlsx格式且字段名称相同。据业务MM说分那么多文件是为了方便对账所以不能合放在一起。
作为一个小菜鸟拿到这个数据我先想到的做法是
1新建一个excel文件A
2将这三、四十个文件数据分别复制到A中。
3将文件A另存为csv文件
4利用copy指令将数据导入GP数据库中的表。
一个文件一个文件的导入或者复制再导入确实是重复劳动、浪费时间几次操作下来枯燥又心累~
心里想一定得找到新的方法提高效率同时解放自己。刚好在学习python那就用python试试把这些数据合并在一起吧经过在网上搜索的资料拼拼凑凑终于弄好了一个自动合并数据的小脚本。
思路如下
1用python读取固定文件夹下所有的excel.xlsx文件
2合并这些文件数据并将结果存在同一个文件中
脚本如下
#导入需要用到的模块
import os
import pandas as pd
import numpy as np
#需要处理的文件夹所在的路径
dir e:\\test
#新建列表存放文件名可以忽略但是为了做的过程能心里有数先放上
filename_excel []
#新建列表存放每个文件数据框每一个excel读取后存放在数据框
frames []
#循环读取文件夹下的文件名
for root, dirs, files in os.walk(dir):
for file in files:
filename_excel.append(os.path.join(root,file))
frames.append(df)
#打印文件名
print(filename_excel)
#合并所有数据
result pd.concat(frames)
#查看合并后的数据
result.head()
result.shape
#将合并后的数据放在E盘的ceshi.csv文件中这里可以根据实际需求存放文件格式
result.to_csv(e:\\ceshi.csv, sep,,index False)
稍微处理一下合并后的文件例如删除标题行等为什么这一步在前面没做是因为每个文件的标题行一致如果用skiprows[0]会导致每个文件都少了一行。最后用copy语句导入GP数据库表。
