scwholeT

Spark中，sc.textFiles()与sc.wholeTextFiles()在处理文本文件时，有何本质差异？

本文共计532个文字，预计阅读时间需要3分钟。由于业务需求，需要将大量文件按照目录分类的方式存储在HDFS上。此时，从HDFS上读取文件就需要使用sparkcontext.wholeTextFiles()方法。众所周知，sc.text是由s