怎么在Python中利用流式读取大文件？针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。
创新互联是一家专注于成都网站建设、网站设计与策划设计,蒙阴网站建设哪家好?创新互联做网站,专注于网站建设十年,网设计领域的专业建站公司;建站业务涵盖:蒙阴等地区。蒙阴做网站价格咨询:18980820575
Python是一种编程语言，内置了许多有效的工具，Python几乎无所不能，该语言通俗易懂、容易入门、功能强大，在许多领域中都有广泛的应用，例如最热门的大数据分析，人工智能，Web开发等。
1、使用 read 方法分块读取
使用更底层的file.read()方法，与直接循环迭代文件对象不同，每次调用file.read(chunk_size)会直接返回从当前位置往后读取 chunk_size 大小的文件内容，不必等待任何换行符出现。
def count_nine_v2(fname):
"""计算文件里包含多少个数字 '9'，每次读取 8kb
"""
count = 0
block_size = 1024 * 8
with open(fname) as fp:
while True:
chunk = fp.read(block_size)
# 当文件没有更多内容时，read 调用将会返回空字符串 ''
if not chunk:
break
count += chunk.count('9')
return count2、利用生成器解耦代码
可以定义一个新的chunked_file_reader生成器函数，由它来负责所有与“数据生成”相关的逻辑。
count_nine_v3里面的主循环就只需要负责计数即可。
def chunked_file_reader(fp, block_size=1024 * 8):
"""生成器函数：分块读取文件内容
"""
while True:
chunk = fp.read(block_size)
# 当文件没有更多内容时，read 调用将会返回空字符串 ''
if not chunk:
break
yield chunk
def count_nine_v3(fname):
count = 0
with open(fname) as fp:
for chunk in chunked_file_reader(fp):
count += chunk.count('9')
return count使用 iter(callable,sentinel) 的方式调用它时，会返回一个特殊的对象，迭代它将不断产生可调用对象 callable 的调用结果，直到结果为 setinel 时，迭代终止。
def chunked_file_reader(file, block_size=1024 * 8): """生成器函数：分块读取文件内容，使用 iter 函数 """ # 首先使用 partial(fp.read, block_size) 构造一个新的无需参数的函数 # 循环将不断返回 fp.read(block_size) 调用结果，直到其为 '' 时终止 for chunk in iter(partial(file.read, block_size), ''): yield chunk
关于怎么在Python中利用流式读取大文件问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注创新互联行业资讯频道了解更多相关知识。
