大数据技术之Scala

                        大数据技术之Scala

• 集合计算高级函数

（1）  过滤

遍历一个集合并从中获取满足指定条件的元素组成一个新的集合

（2）  转化/映射（map）

 将集合中的每一个元素映射到某一个函数

（3）  扁平化

（4）  扁平化+映射 注：flatMap 相当于先进行 map 操作，在进行 flatten 操作集合中的每个元素的子元素映射到某个函数并返回新集合

（5）  分组(group)

按照指定的规则对集合的元素进行分组

（6）  简化（归约）

（7）  折叠

   Reduce 方法

Reduce 简化（归约） ：通过指定的逻辑将集合中的数据进行聚合，从而减少数据，最终获取结果。

Fold 方法

二．普通WordCount 案例

需求：

单词计数：将集合中出现的相同的单词，进行计数，取计数排名前三的结果