Python高效读取压缩文件：从基础到实战

在数据处理中，压缩文件（如ZIP、GZIP、TAR.GZ）广泛应用于节省存储空间和传输时间。Python提供了强大的内置模块和第三方库，能够轻松读取和处理这些压缩格式，大幅提升工作效率。

一、核心模块概览

Python标准库包含以下关键模块：

• zipfile：处理ZIP格式压缩文件，支持读写和解压。
• gzip：专门处理GZIP（.gz）格式文件，常用于单文件压缩。
• tarfile：处理TAR及其组合格式（如.tar.gz、.tar.bz2），适合归档多文件。

此外，第三方库如pandas可以无缝集成这些模块，实现一步到位的数据读取。

二、实战代码示例

1. 使用zipfile读取ZIP文件

import zipfile

# 打开ZIP文件
with zipfile.ZipFile('data.zip', 'r') as zip_ref:
    # 列出所有文件
    print(zip_ref.namelist())
    # 读取特定文件内容
    with zip_ref.open('example.csv') as file:
        data = file.read()
        print(data[:100])  # 输出前100字节

2. 使用gzip读取GZIP文件

import gzip

# 读取GZIP压缩的文本文件
with gzip.open('log.gz', 'rt') as f:
    for line in f:
        print(line.strip())

3. 使用tarfile读取TAR.GZ文件

import tarfile

# 提取整个归档
with tarfile.open('archive.tar.gz', 'r:gz') as tar:
    tar.extractall(path='./extracted')

# 逐个读取文件
with tarfile.open('archive.tar.gz', 'r:gz') as tar:
    for member in tar.getmembers():
        if member.isfile():
            f = tar.extractfile(member)
            if f:
                print(f.read()[:50])

4. 与pandas结合读取压缩数据

pandas直接支持从压缩文件读取DataFrame，简化流程：

import pandas as pd

# 读取ZIP中的CSV
df = pd.read_csv('data.zip', compression='zip')

# 读取GZIP压缩的CSV
df = pd.read_csv('data.csv.gz', compression='gzip')

# 读取TAR.GZ中的特定文件
df = pd.read_csv('archive.tar.gz', compression='tar')

三、性能优化建议

处理大型压缩文件时，注意以下技巧：

• 流式读取：使用迭代器逐行或分块读取，避免内存溢出。
• 选择合适模块：ZIP适合多文件归档，GZIP适合单文件，TAR支持更多组合格式。
• 错误处理：添加异常捕获（如zipfile.BadZipFile）以增强鲁棒性。
• 缓存机制：对于重复访问，可先解压到临时目录提升速度。

四、常见问题与解决

问题1：文件损坏或密码保护？
解决方案：zipfile支持密码参数（如zip_ref.setpassword(b'password')），但需注意解密限制。

问题2：编码问题？
解决方案：读取文本文件时指定编码（如gzip.open(..., encoding='utf-8')）。

五、总结

Python通过简洁的API和丰富的库生态，让压缩文件处理变得高效而直观。掌握这些方法后，您可以轻松应对从简单解压到复杂数据集成的各种场景，显著提升数据处理流水线的性能。