如何使用python将大量数据导出到Excel中的小技巧
MySQL数据导出到Excel表中的具体操作步骤如下:
1、打开电脑上的Navicat for MySQL快捷键,查看数据库。
2、点击root打开,单击core_db,展开选项中可以看到表。
3、点击表看到数据库中的所有表,右击表弹出选项导出向导。
4、点击导出向导,弹出导出的页面,导出到EXCEL表中,选择导出的格式为.xls,单击下一步。
5、勾选需要导出的表,设置导出文件所在位置,点击下一步。
6、选择需要导出的表中的数据,默认的是全部栏位,单击下一步。
7、点击下一步,再次点击下一步,点击右下角的开始按钮,即可导出。
8、导出之后,提示导出成功,MySQL数据导出到Excel表。
将大量数据导出到Excel中的小技巧python Excel相关的操作的module lib有两组,一组是xlrd、xlwt、xlutils,
何使用python将大量数据导出到Excel中的小技巧
(1) 问题描述:为了更好地展示数据,Excel格式的数据文件往往比文本文件更具有优势,但是具体到python中,该如何导出数据到Excel呢?如果碰到需要导出大量数据又该如何操作呢?本文主要解决以上两个问题。
(2)具体步骤如下:
1.第一步,安装openpyxl,
使用pip install openpyxl即可,但是在windows下安装的是2.2.6版本,但是centos自动安装的是4.1版本,(多谢海哥的提醒)。
写的代码在windows下运行没问题,但centos上却报错了,说是ew=ExcelWriter(workbook=wb)少提供一个参数,于是果断在 237服务器上我已安装2.2.6版本的,问题解决。
pip install openpyxl==2.2.6
2.第二步,哈哈,没有啦,废话不说了,直接上代码,ps,代码中包含xlwt和openpyxl的两个实现版本。
(3)扩展阅读:通过查阅资料,发现网上众说纷纭,总结起来有如下几点:
python Excel相关的操作的module lib有两组,一组是xlrd、xlwt、xlutils,另一组是openpyxl,
但是前一组(xlrd,xlwt)比较老,只能处理由Excel 97-2003 或者Excel 97 以前版本生成的xls格式的excel文件,xlwt甚至不支持07版以后的excel ,这个格式excel文件一般来说,最大只能支持256列或者65536行的excel文件。
因此面对需要导出大量数据到excel的情况,你将有如下三种选择,(1)换一种存储格式,如保存为CSV文件 (2)使用openpyxl—,因为它支持对Excel 2007+ xlsx/xlsm format的处理 (3) win32 COM (Windows only)
当然,我们要直面困难了,为了更好地展示数据给产品和用户,我们依然选择的第二种。
ps,非常lucky,一番搜索后我找到了openpyxl,支持07+的excel,一直有人在维护,文档清晰易读,参照Tutorial和API文档很快就能上手,就是它了~
(4)闲话少说,直接上代码,敬请参考
# coding:utf-8
'''
# 希望对大家有帮助哈,请多提问题
create by yaoyz
date: 2017/01/24
'''
import xlrd
import xlwt
# workbook相关
from openpyxl.workbook import Workbook
# ExcelWriter,封装了很强大的excel写的功能
from openpyxl.writer.excel import ExcelWriter
# 一个eggache的数字转为列字母的方法
from openpyxl.utils import get_column_letter
from openpyxl.reader.excel import load_workbook
class HandleExcel():
'''Excel相关操作类'''
def __init__(self):
self. head_row_labels = [u'学生ID',u'学生姓名',u'联系方式',u'知识点ID',u'知识点名称']
"""
function:
读出txt文件中的每一条记录,把它保存在list中
Param:
filename: 要读出的文件名
Return:
res_list: 返回的记录的list
"""
def read_from_file(self,filename):
res_list=[]
file_obj=open(filename,"r")
for line in file_obj.readlines():
res_list.append(line)
file_obj.close()
return res_list
"""
function:
读出*.xlsx中的每一条记录,把它保存在data_dic中返回
Param:
excel_name: 要读出的文件名
Return:
data_dic: 返回的记录的dict
"""
def read_excel_with_openpyxl(self, excel_name="testexcel2007.xlsx"):
# 读取excel2007文件
wb = load_workbook(filename=excel_name)
# 显示有多少张表
print "Worksheet range(s):" , wb.get_named_ranges()
print "Worksheet name(s):" , wb.get_sheet_names()
# 取第一张表
sheetnames = wb.get_sheet_names()
ws = wb.get_sheet_by_name(sheetnames[0])
# 显示表名,表行数,表列数
print "Work Sheet Titile:" ,ws.title
print "Work Sheet Rows:" ,ws.get_highest_row()
print "Work Sheet Cols:" ,ws.get_highest_column()
# 获取读入的excel表格的有多少行,有多少列
row_num=ws.get_highest_row()
col_num=ws.get_highest_column()
print "row_num: ",row_num," col_num: ",col_num
# 建立存储数据的字典
data_dic = {}
sign=1
# 把数据存到字典中
for row in ws.rows:
temp_list=[]
# print "row",row
for cell in row:
print cell.value,
temp_list.append(cell.value)
print ""
data_dic[sign]=temp_list
sign+=1
print data_dic
return data_dic
"""
function:
读出*.xlsx中的每一条记录,把它保存在data_dic中返回
Param:
records: 要保存的,一个包含每一条记录的list
save_excel_name: 保存为的文件名
head_row_stu_arrive_star:
Return:
data_dic: 返回的记录的dict
"""
def write_to_excel_with_openpyxl(self,records,head_row,save_excel_name="save.xlsx"):
# 新建一个workbook
wb = Workbook()
# 新建一个excelWriter
ew = ExcelWriter(workbook=wb)
# 设置文件输出路径与名称
dest_filename = save_excel_name.decode('utf-8')
# 第一个sheet是ws
ws = wb.worksheets[0]
# 设置ws的名称
ws.title = "range names"
# 写第一行,标题行
for h_x in range(1,len(head_row)+1):
h_col=get_column_letter(h_x)
#print h_col
ws.cell('%s%s' % (h_col, 1)).value = '%s' % (head_row[h_x-1])
# 写第二行及其以后的那些行
i = 2
for record in records:
record_list=str(record).strip().split("")
for x in range(1,len(record_list)+1):
col = get_column_letter(x)
ws.cell('%s%s' % (col, i)).value = '%s' % (record_list[x-1].decode('utf-8'))
i += 1
# 写文件
ew.save(filename=dest_filename)
"""
function:
测试输出Excel内容
读出Excel文件
Param:
excel_name: 要读出的Excel文件名
Return:
无
"""
def read_excel(self,excel_name):
workbook=xlrd.open_workbook(excel_name)
print workbook.sheet_names()
# 获取所有sheet
print workbook.sheet_names() # [u'sheet1', u'sheet2']
sheet2_name = workbook.sheet_names()[1]
# 根据sheet索引或者名称获取sheet内容
sheet2 = workbook.sheet_by_index(1) # sheet索引从0开始
sheet2 = workbook.sheet_by_name('Sheet1')
# sheet的名称,行数,列数
print sheet2.name,sheet2.nrows,sheet2.ncols
# 获取整行和整列的值(数组)
rows = sheet2.row_values(3) # 获取第四行内容
cols = sheet2.col_values(2) # 获取第三列内容
print rows
print cols
# 获取单元格内容
print sheet2.cell(1,0).value
print sheet2.cell_value(1,0)
print sheet2.row(1)[0].value
# 获取单元格内容的数据类型
print sheet2.cell(1,0).ctype
# 通过名称获取
return workbook.sheet_by_name(u'Sheet1')
"""
function:
设置单元格样式
Param:
name: 字体名字
height: 字体高度
bold: 是否大写
Return:
style: 返回设置好的格式对象
"""
def set_style(self,name,height,bold=False):
style = xlwt.XFStyle() # 初始化样式
font = xlwt.Font() # 为样式创建字体
font.name = name # 'Times New Roman'
font.bold = bold
font.color_index = 4
font.height = height
borders= xlwt.Borders()
borders.left= 6
borders.right= 6
borders.top= 6
borders.bottom= 6
style.font = font
style.borders = borders
return style
"""
function:
按照 设置单元格样式 把计算结果由txt转变为Excel存储
Param:
dataset:要保存的结果数据,list存储
Return:
将结果保存为 excel对象中
"""
def write_to_excel(self, dataset,save_excel_name,head_row):
f = xlwt.Workbook() # 创建工作簿
# 创建第一个sheet:
# sheet1
count=1
sheet1 = f.add_sheet(u'sheet1', cell_overwrite_ok=True) # 创建sheet
# 首行标题:
for p in range(len(head_row)):
sheet1.write(0,p,head_row[p],self.set_style('Times New Roman',250,True))
default=self.set_style('Times New Roman',200,False) # define style out the loop will work
for line in dataset:
row_list=str(line).strip("
").split("")
for pp in range(len(str(line).strip("
").split(""))):
sheet1.write(count,pp,row_list[pp].decode('utf-8'),default)
count+=1
f.save(save_excel_name) # 保存文件
def run_main_save_to_excel_with_openpyxl(self):
print "测试读写2007及以后的excel文件xlsx,以方便写入文件更多数据"
print "1. 把txt文件读入到内存中,以list对象存储"
dataset_list=self.read_from_file("test_excel.txt")
'''test use openpyxl to handle EXCEL 2007'''
print "2. 把文件写入到Excel表格中"
head_row_label=self.head_row_labels
save_name="test_openpyxl.xlsx"
self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)
print "3. 执行完毕,由txt格式文件保存为Excel文件的任务"
def run_main_save_to_excel_with_xlwt(self):
print " 4. 把txt文件读入到内存中,以list对象存储"
dataset_list=self.read_from_file("test_excel.txt")
'''test use xlwt to handle EXCEL 97-2003'''
print " 5. 把文件写入到Excel表格中"
head_row_label=self.head_row_labels
save_name="test_xlwt.xls"
self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)
print "6. 执行完毕,由txt格式文件保存为Excel文件的任务"
if __name__ == '__main__':
print "create handle Excel Object"
obj_handle_excel=HandleExcel()
# 分别使用openpyxl和xlwt将数据写入文件
obj_handle_excel.run_main_save_to_excel_with_openpyxl()
obj_handle_excel.run_main_save_to_excel_with_xlwt()
'''测试读出文件,注意openpyxl不可以读取xls的文件,xlrd不可以读取xlsx格式的文件'''
#obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls") # 错误写法
#obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls") # 错误写法
obj_handle_excel.read_excel("testexcel2003.xls")
obj_handle_excel.read_excel_with_openpyxl("testexcel2007.xlsx")
如何使用python
使用:然后我们就可以在CMD命令行窗口中使用python了,一般比较小的python程序直接在记事本中或者sublime这样的编辑器中编写即可如果是比较大的python项目的话就需要打开IDE工具Pycharm了。第三方的库:最后使用python的时候一般会用到第三方的库,这个一般都是安装在python安装目录下面的site-packages文件夹综...
怎么运行python代码
1、使用Python解释器:打开命令行界面,输入python命令,进入Python解释器,然后输入您的Python代码,按下回车键即可执行代码。2、使用Python IDE:使用Python IDE(如PyCharm、IDLE、Spyder等)编写Python代码,并在IDE中运行代码。3、使用Python脚本:将Python代码保存为.py文件,并在命令行或IDE中运行该脚本...
python如何使用
python是一种跨平台的计算机程序设计语言,使用python首先需要进行安装和配置,然后就可以在CMD命令行窗口中使用python了。安装:使用python之前我们需要先安装它,大家到python的官网下载即可,下载完了注意配置一下环境变量,将python的bin目录配置到path变量里面。使用:在CMD命令行窗口中使用python,一般比较小...
python是什么,如何使用python
基于 Python 的 Web 应用程序是一个成熟的应用程序,用它的内部状态,从查询到请求,都加载到内存中。Python 与 PHP 之间 Web 开发比较1、 流行度现在,要做到符合趋势或潮流,一些客户和产品所有者只想在他们的项目中使用最受欢迎和最流行的技术在此情况下,如果只顾搞开发但不管技术方向,很可能最终...
Python 是什么?如何正确使用?
Python 是一种计算机语言,它是一种解释型、面向对象、动态数据类型的高级程序设计语言。Python 由 Guido van Rossum 于 1989 年底发明,第一个公开发行版发行于 1991 年。Python 语言的设计哲学强调代码的可读性和简洁的语法(尤其是使用空格缩进划分代码块,而非使用大括号或者关键词)。Python 的标准库...
Python怎么使用
1、首先在Window 上在安装 Python时,已经已经安装了默认的交互式编程客户端,提示窗口:在 python 提示符中输入以下文本信息,然后按 Enter 键查看运行效果。2、然后,通过脚本参数调用解释器开始执行脚本,直到脚本执行完毕。当脚本执行完成后,解释器不再有效。所有 Python 文件将以 .py 为扩展名。将...
python怎么用
操作方法如下操作设备戴尔电脑 操作系统win10 操作软件design 1打开你的功能文件,如下图所示2把功能封装成函数然后按CTRL+V粘贴在Design里复制的代码,如下图所示3加入信号,链接到函数,如下图所示4;python整数的表示方法1可以使用字符串str的isdigit方法判断字符串是否是一个仅有数字组成,也就是整数...
安装python后怎么用
1、安装之后首先可以启动Python交互式解释器,方法是在Windows命令行窗口,敲入python字样就可以打开了,在这里可以导入python的包,编写python语句,不过缺点就是修改起来不方便,需要把光标移动到相应的位置才能:2、然后也可以使用Python自身提供的IDLE集成开发环境,这是Pyhton自身提供了一个简洁的集成开发环境...
python该如何使用?
1、要使用string的方法要先import,但后来由于众多的python使用者的建议。2、从python2.0开始, string方法改为用S.method()的形式调用,只要S是一个字符串对象就可以这样使用,而不用import。3、同时为了保持向后兼容,现在的Python中仍然保留了一个string的module。阐述编制Python程序相关注意什么是Python...
python 可以怎么使用
1.下载Python安装包。2.解压Python安装包。tar -xzf Python-2.7.3.tgz 3.在Python-2.7.3 根目录下运行。.\/configure configure 命令执行完之后,会生成一个 Makefile 文件,这个 Makefile主要是被下一步的 make 命令所使用。4.编译Python源代码并安装。make&&make install 5.安装完之后,执行...
须帝施保: 1、安装openpyxl模块 2、调用openpyxl模块,将变量中的数据写入excel 具体的操作流程需要根据您的需求和数据格式.
肃北蒙古族自治县15371362011: 如何用python从wind中批量导出数据 - ?
须帝施保: 导出时请按如下步骤操作:1、打开要导出的财务软件,比如资产负债表;2、点开菜单“编辑->全选”,点开菜单“编辑->清除->清除公式”;3、点开菜单“文件->输出文件->输出Excel文件”,输入导出后的文件名,点击“保存”.关闭报表,软件询问是否保存报表时,选择“否”.4、已知问题:导出过程的最后一步,一定要注意,不要选择保存报表,否则会丢失所有单元公式.目前的导出过程有点繁琐,软件正在改进,完成后一键即可导出.如果报表文件内含有多个页面,导出可能会失败.解决办法:将待导出页面输出为单个表文件(菜单“表页->输出表页”),再打开这个文件,按导出步骤进行操作.
肃北蒙古族自治县15371362011: python怎么把数据导出pdf,doc,xls,html,csv格式 51cto - ?
须帝施保: Python导出数据到Excel可读取的CSV文件的方法.分享给大家供大家参考.具体实现方法如下: import csv with open('eggs.csv', 'wb') as csvfile: #spamwriter = csv.writer(csvfile, delimiter=' ',quotechar='|', #quoting=csv.QUOTE_MINIMAL) ...
肃北蒙古族自治县15371362011: 如何用Python来提取00001至03000个文本中的制定数据,并输出其转换值到一个新文件中? - ?
须帝施保: 逐一打开文件,对每一行进行正则匹配,找出需要到字段,然后输出到文件中
肃北蒙古族自治县15371362011: 如何用python将包含多个表格的json数据转化为多个csv表格输出 - ?
须帝施保: csv就是个普通的文本文件.不存在多个sheet.所以:没法导出带多个sheet的csv文件.详见:【记录】使用Python读取/导出(写入)CSV文件带多个sheet的,是excel文件.用python导出,带多个的excel,说实话我没弄过.但是弄过单个sheet的
肃北蒙古族自治县15371362011: python 爬取的数据导出到excel - ?
须帝施保: 把print出来的,都存到一个list里. all_case=['姓名','张三','年龄','18'...] b=[] x=0 y=0 for i in range(0,len(all_case),2): b = all_case[i:i+2] for i in b:ws.write(x,y,i,style)x+=1 y+=1x=0wtbook.save(path_dst)上面是核心内容,你理解一下.就是将list变为2个元素一组的小list,然后对小list按行写入,写完到下一个小list再回到第一行. 写完发现没有格式啊...注意一下x+=1和里面for是一组.y+=1和x=0和外面的for是一组.
肃北蒙古族自治县15371362011: 如何通过python快速输出数据库数据到excel - ?
须帝施保: 下载扩展库 xlrd 读excle xlwt 写excle 直接在百度上搜就能下载 下载后使用 import xlrd 就可以读excle文件了 打开文件: xls = xlrd.open_workbook(fileName)!
肃北蒙古族自治县15371362011: 如何利用python对网页的数据进行实时采集并输出 - ?
须帝施保: 这让我想到了一个应用场景,在实时网络征信系统中,通过即时网络爬虫从多个信用数据源获取数据.并且将数据即时注入到信用评估系统中,形成一个集成化的数据流.可以通过下面的代码生成一个提取器将标准的HTML DOM对象输出为结构化内容.图片来自集搜客网络爬虫官网,侵删.
肃北蒙古族自治县15371362011: 用python怎么实现mongodb数据的导出 - ?
须帝施保: mongodb自带的命令mongoexport好像有条件导出功能,可以试试,如果不行只能用代码先读
肃北蒙古族自治县15371362011: python从文件中查找数据并输出 - ?
须帝施保: #注意,这里的代码用单空格缩进 import re#写上你的文件夹路径 yourdir=""keywordA = "keywordA"keywordB = "keywordA(\d+)"files = [os.path.join(yourdir,f) for f in os.listdir(yourdir)]with open("out.txt","w") as fo:for f in files:...