如何将一亿文本文件高效生成技巧一网打尽？

一、面对海量文件的主要痛点

生成速度慢：单线程写入每个文件，I/O 成本累计导致数小时甚至数天才能完成。

磁盘 I/O 瓶颈：传统 HDD 写入速率远低于 SSD，频繁的小文件写入会严重拖慢磁盘。

目录管理混乱：把所有文件放在同一个目录会让文件程序遍历变得极其缓慢，甚至出现“Too many files”错误。不过，

文件程序限制：FAT32、ext4、NTFS 对小文件的处理方式不同。不恰当的选择会导致性能骤降。

资源竞争冲突：多进程/多线程同时写入同一磁盘时缺乏调度会产生锁竞争，导致 CPU 利用率不高。

二、整体思路概览

1️⃣ **任务切分**：把“一亿个文件”拆成若干子任务，每个子任务负责固定数量的文件。2️⃣ **并发执行**：使用线程池或进程池并行写入，利用多核 CPU 与 SSD 并行写能力。3️⃣ **分层目录**：采用哈希或编号分段方式。将文件均匀分布到多个子目录，避免单目录膨胀。4️⃣ **合适的文件程序 & 硬件**：优先选用 ext4或 NTFS+ SSD，确保小文件写入性能。5️⃣ **分布式调度**：当单机资源不足时借助 Spark、Flink 或自研调度框架，将任务分发到多台机器。

三、快速上手——三种常见实现方式

1. Bash 脚本

#!/bin/bash
TOTAL=100000000 # 目标数量
BATCH=10000 # 每批次创建的文件数
BASE_DIR="/data/files" # 根目录
mkdir -p "$BASE_DIR"
for );do
DIR="$BASE_DIR/$"
mkdir -p "$DIR"
start=$)
end=$*BATCH-1))
for );其实，do
echo "这是第${i}个文这篇文章件。">"$DIR/file${i}.txt"
done
echo "已生成 ${end} 个文件"
done

2. 批处理脚本

@echo off
set TOTAL=100000000
set BATCH=10000
set BASE=C:\data\files
if not exist "%BASE%" md "%BASE%"
for /L %%b in do (
set /A dirIdx=%%b
set "DIR=%BASE%\!dirIdx，"
if not exist "!DIR，" md "!DIR，"
set /A start=%%b*%BATCH%
set /A end=!start，+%BATCH%-1
for /L %%i in do (
echo 这是第%%i个文这篇文章件。>"，DIR!
\file%%i.txt"
)
echo 已生成!end，个文件...
)

3. Python 多线程版

四、进阶加速技巧

① 使用进程池而非线程池

Python 的 GIL 会限制纯 CPU 密集型工作，但对 I/O 密集型的写操作影响不大。不过，如果你在 Windows 上使用 `multiprocessing` 可以进一步提高并发度。

② 合理设置批量大小 & 缓冲区

`os.open` 或者直接使用 `shutil.copyfileobj` 将大块数据一次性写入，可减少程序调用次数。

③ 文件预创建 & 零拷贝技术

在 Linux 下可使用 `posix_fallocate` 提前分配磁盘块；在 Windows 可调用 `SetFileValidData`，避免碎片化。

④ SSD + RAID0 配置

SSD 本身拥有高随机写性能；若预算允许，可将多块 SSD 做 RAID0，以获得更高吞吐。但要注意数据安全性，定期备份。

⑤ 分布式生成

五、实战检查清单——防止踩坑的关键点

• I/O 测试：先在小规模跑通，监控 `iostat` 或 `Resource Monitor` 的写入速率。
• 硬盘空间预估：`size ≈ 文件平均大小 × 数量`；建议预留至少 20% 的余量。
• 目录深度限制：`ext4` 单目录推荐不超过几万条，否则 `readdir` 会变慢。
• Error handling：`try/except` 捕获异常并记录失败方法，防止因单个错误导致整体中断。
• 日志输出频率：`print` 或 `echo` 太频繁会拖慢程序，建议每 N 万条打印一次进度。
• Cron / Systemd 管理：将脚本包装为后台服务，可实现自动重启和资源监控。

六、从“痛点”到“落地”，让海量文本生成不再是噩梦

而不是耗费数天甚至数周。老实说，从记住来看，硬件、文件程序、还有代码层面的 I/O 调整缺一不可。如果单机仍然捉襟见肘，请直接迁移到 Spark/Flink 等分布式网站。让计算资源随需求弹性伸缩。现在就把这些技巧落地到你的项目中吧——再也不用为手动敲命令或卡死的服务器烦恼！