如何高效在PHP中比较两个大型文件，查找完全相同的记录？

本文共计1961个文字，预计阅读时间需要8分钟。

目录

1.引用

2.思路

3.实现

4.生成测试文件

5.分割文件

6.查找重复记录

7.完整代码

1. 引用

给定两个文件a和b，分别包含x和y行数据，其中(x, y)平均值大于10亿，机器内存限制为100M。如何实现？

2. 思路- 读取文件a和b，计算x和y的平均值。- 如果平均值大于10亿，则进行下一步。- 使用内存限制进行数据处理，避免内存溢出。

3. 实现pythondef read_data(file_path): with open(file_path, 'r') as file: data=[line.strip().split() for line in file] return data

def calculate_average(data): x_sum, y_sum=0, 0 for line in data: x, y=int(line[0]), int(line[1]) x_sum +=x y_sum +=y return x_sum / len(data), y_sum / len(data)

def process_files(file_a, file_b): data_a=read_data(file_a) data_b=read_data(file_b) avg_x, avg_y=calculate_average(data_a), calculate_average(data_b) if avg_x > 10e8 or avg_y > 10e8: # 处理数据 pass else: print(平均值未超过10亿，无需处理。)

示例调用process_files('file_a.txt', 'file_b.txt')

4. 生成测试文件pythondef generate_test_file(file_path, num_lines, x_avg, y_avg): with open(file_path, 'w') as file: for _ in range(num_lines): x=int(x_avg + (random.random() - 0.5) * 10e8) y=int(y_avg + (random.random() - 0.5) * 10e8) file.write(f{x} {y}\n)

generate_test_file('file_a.txt', 1000000, 10e8, 10e8)generate_test_file('file_b.txt', 1000000, 10e8, 10e8)

5. 分割文件pythondef split_file(file_path, chunk_size): data=read_data(file_path) for i in range(0, len(data), chunk_size): with open(f{file_path}_chunk_{i//chunk_size}.txt, 'w') as file: for line in data[i:i+chunk_size]: file.write(' '.join(line) + '\n')

split_file('file_a.txt', 100000)split_file('file_b.txt', 100000)

6. 查找重复记录pythondef find_duplicates(file_path): seen=set() duplicates=[] with open(file_path, 'r') as file: for line in file: if line.strip() in seen: duplicates.append(line.strip()) else: seen.add(line.strip()) return duplicates

duplicates_a=find_duplicates('file_a.txt')duplicates_b=find_duplicates('file_b.txt')

7. 完整代码python...（此处包含以上所有函数定义）

示例调用process_files('file_a.txt', 'file_b.txt')generate_test_file('file_a.txt', 1000000, 10e8, 10e8)generate_test_file('file_b.txt', 1000000, 10e8, 10e8)split_file('file_a.txt', 100000)split_file('file_b.txt', 100000)duplicates_a=find_duplicates('file_a.txt')duplicates_b=find_duplicates('file_b.txt')

目录

• 1、引言
• 2、思路
• 3、实操
• 4、生成测试文件
• 5、分割文件
• 6、查找重复记录
• 7、完整代码

1、引言

给定a，b两个文件, 分别有x，y行数据, 其中(x, y均大于10亿), 机器内存限制100M，该如何找出其中相同的记录?

2、思路

• 处理该问题的困难主要是无法将这海量数据一次性读进内存中.
• 一次性读不进内存中，那么是否可以考虑多次呢？如果可以，那么多次读入要怎么计算相同的值呢？
• 我们可以用分治思想， 大而化小。相同字符串的值hash过后是相等的, 那么我们可以考虑使用hash取模, 将记录分散到n个文件中。这个n怎么取呢？PHP 100M内存，数组大约可以存100w的数据, 那么按a,b记录都只有10亿行来算, n至少要大于200。
• 此时有200个文件，相同的记录肯定在同一个文件中，并且每个文件都可以全部读进内存。那么可以依次找出这200个文件中各自相同的记录，然后输出到同一个文件中，得到的最终结果就是a, b两个文件中相同的记录。
• 找一个小文件中相同的记录很简单了吧，将每行记录作为hash表的key, 统计key的出现次数>=2就可以了。

3、实操

10亿个文件太大了，实操浪费时间，达到实践目的即可。

问题规模缩小为: 1M内存限制, a, b各有10w行记录, 内存限制可以用PHP的ini_set('memory_limit', '1M');来限制。

4、生成测试文件

生成随机数用于填充文件:

/** * 生成随机数填充文件 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: www.classmatelin.top * @param string $filename 输出文件名 * @param int $batch 按多少批次生成数据 * @param int $batchSize 每批数据的大小 */ function generate(string $filename, int $batch=1000, int $batchSize=10000) { for ($i=0; $i<$batch; $i++) { $str = ''; for ($j=0; $j<$batchSize; $j++) { $str .= rand($batch, $batchSize) . PHP_EOL; // 生成随机数 } file_put_contents($filename, $str, FILE_APPEND); // 追加模式写入文件 } } generate('a.txt', 10); generate('b.txt', 10);

5、分割文件

将a.txt,b.txt通过hash取模的方式分割到n个文件中.

/** * 用hash取模方式将文件分散到n个文件中 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: www.classmatelin.top * @param string $filename 输入文件名 * @param int $mod 按mod取模 * @param string $dir 文件输出目录 */ function spiltFile(string $filename, int $mod=20, string $dir='files') { if (!is_dir($dir)){ mkdir($dir); } $fp = fopen($filename, 'r'); while (!feof($fp)){ $line = fgets($fp); $n = crc32(hash('md5', $line)) % $mod; // hash取模 $filepath = $dir . '/' . $n . '.txt'; // 文件输出路径 file_put_contents($filepath, $line, FILE_APPEND); // 追加模式写入文件 } fclose($fp); } spiltFile('a.txt'); spiltFile('b.txt');

执行splitFile函数, 得到如下图files目录的20个文件。

6、查找重复记录

现在需要查找20个文件中相同的记录, 其实也就是找一个文件中的相同记录，操作个20次。

找一个文件中的相同记录:

/** * 查找一个文件中相同的记录输出到指定文件中 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: www.classmatelin.top * @param string $inputFilename 输入文件路径 * @param string $outputFilename 输出文件路径 */ function search(string $inputFilename, $outputFilename='output.txt') { $table = []; $fp = fopen($inputFilename, 'r'); while (!feof($fp)) { $line = fgets($fp); !isset($table[$line]) ? $table[$line] = 1 : $table[$line]++; // 未设置的值设1，否则自增 } fclose($fp); foreach ($table as $line => $count) { if ($count >= 2){ // 出现大于2次的则是相同的记录，输出到指定文件中 file_put_contents($outputFilename, $line, FILE_APPEND); } } }

找出所有文件相同记录:

/** * 从给定目录下文件中分别找出相同记录输出到指定文件中 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: www.classmatelin.top * @param string $dirs 指定目录 * @param string $outputFilename 输出文件路径 */ function searchAll($dirs='files', $outputFilename='output.txt') { $files = scandir($dirs); foreach ($files as $file) { $filepath = $dirs . '/' . $file; if (is_file($filepath)){ search($filepath, $outputFilename); } } }

到这里已经解决了大文件处理的空间问题，那么时间问题该如何处理? 单机可通过利用CPU的多核心处理，不够的话通过多台服务器处理。

7、完整代码

<?php ini_set('memory_limit', '1M'); // 内存限制1M /** * 生成随机数填充文件 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: www.classmatelin.top * @param string $filename 输出文件名 * @param int $batch 按多少批次生成数据 * @param int $batchSize 每批数据的大小 */ function generate(string $filename, int $batch=1000, int $batchSize=10000) { for ($i=0; $i<$batch; $i++) { $str = ''; for ($j=0; $j<$batchSize; $j++) { $str .= rand($batch, $batchSize) . PHP_EOL; // 生成随机数 } file_put_contents($filename, $str, FILE_APPEND); // 追加模式写入文件 } } /** * 用hash取模方式将文件分散到n个文件中 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: www.classmatelin.top * @param string $filename 输入文件名 * @param int $mod 按mod取模 * @param string $dir 文件输出目录 */ function spiltFile(string $filename, int $mod=20, string $dir='files') { if (!is_dir($dir)){ mkdir($dir); } $fp = fopen($filename, 'r'); while (!feof($fp)){ $line = fgets($fp); $n = crc32(hash('md5', $line)) % $mod; // hash取模 $filepath = $dir . '/' . $n . '.txt'; // 文件输出路径 file_put_contents($filepath, $line, FILE_APPEND); // 追加模式写入文件 } fclose($fp); } /** * 查找一个文件中相同的记录输出到指定文件中 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: www.classmatelin.top * @param string $inputFilename 输入文件路径 * @param string $outputFilename 输出文件路径 */ function search(string $inputFilename, $outputFilename='output.txt') { $table = []; $fp = fopen($inputFilename, 'r'); while (!feof($fp)) { $line = fgets($fp); !isset($table[$line]) ? $table[$line] = 1 : $table[$line]++; // 未设置的值设1，否则自增 } fclose($fp); foreach ($table as $line => $count) { if ($count >= 2){ // 出现大于2次的则是相同的记录，输出到指定文件中 file_put_contents($outputFilename, $line, FILE_APPEND); } } } /** * 从给定目录下文件中分别找出相同记录输出到指定文件中 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: www.classmatelin.top * @param string $dirs 指定目录 * @param string $outputFilename 输出文件路径 */ function searchAll($dirs='files', $outputFilename='output.txt') { $files = scandir($dirs); foreach ($files as $file) { $filepath = $dirs . '/' . $file; if (is_file($filepath)){ search($filepath, $outputFilename); } } } // 生成文件 generate('a.txt', 10); generate('b.txt', 10); // 分割文件 spiltFile('a.txt'); spiltFile('b.txt'); // 查找记录 searchAll('files', 'output.txt');

到此这篇关于详解PHP如何在两个大文件中找出相同记录的文章就介绍到这了,更多相关PHP文件相同记录内容请搜索自由互联以前的文章或继续浏览下面的相关文章希望大家以后多多支持自由互联！