首页 > python爬虫

python使用NumPy文件的读写操作

时间:2021-05-17 python爬虫 查看: 1144

一、使用NumPy读写文本文件

在数据分析中,经常需要从文件中读取数据或将数据写入文件,常用的存储文件的格式有文本文件、CSV格式文件、二进制格式文件和多维数据文件等。

1.将1维或2维数组写入TXT文件或CSV格式文件 在NumPy中,使用savetxt()函数可以将1维或2维数组写入后缀名为txt或csv的文件.函数格式为:

**numpy.savetxt(fname,array,fmt='%.18e',delimiter=None,newline='\n', header='', footer='', comments='# ', encoding=None)**

主要参数:
fname:文件、字符串或产生器,可以是.gz 或.bz2 的压缩文件
array:存入文件的数组(一维数组或者二维数组)
fmt:写入文件的格式,如:%d,%.2f,%.18e,默认值是%.18e 可选项
delimiter: 分隔符,通常情况是str可选
header:将在文件开头写入的字符串
footer:将在文件尾部写入的字符串
comments: 将附加到header和footer字符串的字符串,以将其标记为注释。
默认值:'#' encoding:用于编码输出文件的编码。

import numpy as np
arr = np.arange(12).reshape(3,4)
#fmt缺省取%.18e(浮点数)
#分割符默认是空格,写入文件保存在当前目录
np.savetxt('test-1.txt',arr)
#fmt:%d 写入文件的元素是十进制整数,分割符为逗号",",写入文件保存在当前目录
np.savetxt('test-2.txt',arr,fmt='%d',delimiter=',')
#在test-3.txt文件头部和尾部增加注释,头部 #test-3,尾部 # 数据写入注释,写入文件的元素是字符串
np.savetxt('test-3.txt',arr,fmt='%s',delimiter=',',header=\
  'test-3',footer='测试数据',encoding='utf-8')
#在test-4.txt文件头部加##test-4注释
np.savetxt('test-4.txt',arr,fmt='%f',delimiter=',',header=
  'test-4',comments='###')
#将arr数组保存为csv文件
np.savetxt('test-1.csv',arr,fmt='%d',header='test-1')

2.读取TXT文件和CSV格式文件 在NumPy中,读取TXT文件和CSV格式文件的函数是loadtxt(),函数格式:

numpy.loadtxt(fname,dtype=type'float'>,comments='#',delimiter=None, converters=None,skiprows=0,usecols=None,unpack=False,ndmin=0,encoding=‘bytes')
#参数说明:
fname:被读取的文件名(文件的相对地址或者绝对地址)
dtype:指定读取后数据的数据类型
comments: 跳过文件中指定参数开头的行(即不读取)
delimiter:指定读取文件中数据的分割符
converters: 对读取的数据进行预处理
skiprows:选择跳过的行数
usecols:指定需要读取的列
unpack:选择是否将数据进行向量输出
encoding:对读取的文件进行预编码

a = np.loadtxt('test-1.txt') 
#读入当前目录下的文件 test-1.txt
print(a) 
[[ 0. 1. 2. 3.]
 [ 4. 5. 6. 7.]
 [ 8. 9. 10. 11.]]
# skiprows:指跳过前1行, 如果设置skiprows=2, 就会跳过前两行,数据类型设置为整型.
a = np.loadtxt('test-1.txt', skiprows=1, dtype=int)
print(a)
[[ 4 5 6 7]
 [ 8 9 10 11]]
# comment, 如果行的开头为#就会跳过该行
a = np.loadtxt('test-4.txt', skiprows=2, comments='#',delimiter=',')
b = np.loadtxt('test-4.txt',comments='#',delimiter=',')
print(a,b,sep='\n')
[[ 4. 5. 6. 7.]
 [ 8. 9. 10. 11.]]
[[ 0. 1. 2. 3.]
 [ 4. 5. 6. 7.]
 [ 8. 9. 10. 11.]]
# usecols:指定读取的列,若读取0,2两列
aa = np.loadtxt('test-3.txt',dtype=int, skiprows=1,delimiter=',',usecols=(0, 2))
#unpack是指会把每一列当成一个向量输出, 而不是合并在一起。
(a, b) = np.loadtxt('test-2.txt', dtype=int, skiprows=1,
   comments='#', delimiter=',',
   usecols=(0, 2), unpack=True)
print(aa,a, b,sep='\n')
[[ 0 2]
 [ 4 6]
 [ 8 10]]
[4 8]
[ 6 10]
#读取csv文件
aa = np.loadtxt('test-1.csv',skiprows=1)
print(aa)
[[ 0. 1. 2. 3.]
 [ 4. 5. 6. 7.]
 [ 8. 9. 10. 11.]]

二、使用NumPy读写二进制文件

1.使用save()或savez()函数写二进制格式文件

save函数将数组以未压缩的原始二进制格式保存在扩展名为.npy的文件中。会自动处理元素类型和形状等信息。
savez函数将多个数组压缩到一个扩展名为npz的文件,其中每个文件都是一个save()保存的npy文件,文件名和数组名相同
save()或savez()函数的格式:

numpy.save(file,array)
numpy.savez(file,array)

2.使用load()函数读取二进制格式文件

load()函数的格式: numpy.load(file)

import numpy as np
a = np.arange(12).reshape(3,4)
print('原数组a:\n',a)
np.save('arr1.npy', a) #将数据存储为npy,保存时可以省略扩展名,默认.npy
c = np.load('arr1.npy') #读取arr1.npy的数据,读取数据时不能省略 .npy
print('读取后的数据:\n',c)

ar = np.arange(6).reshape(3,2) 

print('保存前的数组:',a,ar,sep='\n')
np.savez('arr2.npz',a,ar) #多数组存储,默认文件名.npz
b = np.load('arr2.npz')
print('读取后的数据:')
print(b['arr_0'],b['arr_1'],sep='\n')

原数组a:
[[ 0 1 2 3]
[ 4 5 6 7]
[ 8 9 10 11]]
读取后的数据:
[[ 0 1 2 3]
[ 4 5 6 7]
[ 8 9 10 11]]
保存前的数组:
[[ 0 1 2 3]
[ 4 5 6 7]
[ 8 9 10 11]]
[[0 1]
[2 3]
[4 5]]
读取后的数据:
[[ 0 1 2 3]
[ 4 5 6 7]
[ 8 9 10 11]]
[[0 1]
[2 3]
[4 5]]

for i in b.items():
 print(i)
('a', array([[ 0, 1, 2, 3],
 [ 4, 5, 6, 7],
 [ 8, 9, 10, 11]]))
('ar', array([[0, 1],
 [2, 3],
 [4, 5]]))

以上就是python使用NumPy文件的读写操作的详细内容,更多关于python使用NumPy读写文件的资料请关注python博客其它相关文章!

展开全文
上一篇:pandas 使用merge实现百倍加速的操作
下一篇:Python获取百度热搜的完整代码
输入字:
相关知识
Python爬虫基础之爬虫的分类知识总结

来给大家讲python爬虫的基础啦,首先我们从爬虫的分类开始讲起,下文有非常详细的知识总结,对正在学习python的小伙伴们很有帮助,需要的朋友可以参考下

Python爬虫基础讲解之请求

今天带大家了解一下python爬虫的基础知识,文中有非常详细的解释说明,对正在学习python爬虫的小伙伴们有很好地帮助,需要的朋友可以参考下

PyQt5爬取12306车票信息程序的实现

12306是学习爬虫的比较好的一个练手网站。本文主要实现了PyQt5爬取12306车票信息程序,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

Python爬虫之m3u8文件里提取小视频的正确姿势

本文给大家分享如何正确提取m3u8文件里的.ts视频,并合成完整的.mp4格式视频,通过图文实例代码的形式给大家介绍的非常详细,对Python提取m3u8文件小视频感兴趣的朋友一起看看吧