如何利用PHP多进程与Redis有序集合高效实现大文件去重？
- 内容介绍
- 文章标签
- 相关推荐
本文共计397个文字，预计阅读时间需要2分钟。
1. 大文件内容查看，例如我的文件为：`-rw-r--r--+ 1 ubuntu ubuntu 9.1G Mar 1 17:53 2018-12-awk-uniq.txt`
2.使用`split`命令将文件切割成10个小文件：`split -b 1000m 2018-12-awk-uniq.txt -b 单位m和k`
3.使用10个`将内容分割并处理。
本文共计397个文字，预计阅读时间需要2分钟。
1. 大文件内容查看，例如我的文件为：`-rw-r--r--+ 1 ubuntu ubuntu 9.1G Mar 1 17:53 2018-12-awk-uniq.txt`
2.使用`split`命令将文件切割成10个小文件：`split -b 1000m 2018-12-awk-uniq.txt -b 单位m和k`
3.使用10个`将内容分割并处理。