最近在学习大数据,看到一个练习题。题目如下:在 Spark-Shell 中使用 scala 语言对文件使用 flatMap 语句进行数据压缩,压缩的所有数据以空格为分隔符,压缩后对字母进行 key:Value 计数(字母为 key,出现次数为 Vlaue )。
1
fdhdd May 22, 2017
相当于 wordcount 吧
val f = scala.io.Source.fromFile("yourFile") val wordCount = f.getLines.map(_.split(" ")).flatMap(a => a).groupBy(identity).mapValues(_.length) |