首页 课堂 视频 教程 重装系统 U盘启动
spark读取目录及子目录中文件
时间:2020-07-21 16:40:00

spark读取目录及子目录中文件?接下来教大家spark如何读取目录及子目录中文件。

spark读取目录及子目录中文件

在spark输入1 val rdd=spark.sparkContext.textFile("D:\\data\\test_table\\*=1,D:\\data\\test_table\\key=2")

注意:

每个路径都要定位到最后一级。

路径之间不能存在包含关系。

目录与文件不要混放,即放在同一个目录下。

路径中可使用通配符。

spark读取目录及子目录中文件(1)

本文标题:spark读取目录及子目录中文件

郑重声明:东方财富发布此内容旨在传播更多信息,与本站立场无关,不构成投资建议。

风险提示:谨慎投资,理性决策,市场风险自负。

云骑士一键重装系统

关注云骑士,畅享科技新生活!
查看
小编推荐