Spark小技巧之pivot

最近在用spark处理数据的时候,遇到了这样一种需求:
我想统计每个城市在工作日和周末早高峰、晚高峰、夜高峰和普通时间段的订单数,并且早高峰、晚高峰、夜高峰和普通时间段分别占一列。
原始文件CSV文件的内容如下图所示:

Spark小技巧之pivot

peak_type代表时间段,其中morning_peak代表早高峰、evening_peak代表晚高峰、nignt_peak代表夜高峰、normal代表正常时间段。
这个问题的实质就是想将某列不同的值转化为不同的列的问题。
解决这种问题最传统的方式就是对peak_type不同值分别进行处理,然后进行join操作,但是这种解决办法相当复杂并且代码量大,于是想看看有没有别的更好的办法,通过网上搜索,发现了一个叫做pivot的东西。
透视(pivot)数据功能是Spark 1.6的众多新增特性之一,它通过使用DataFrame(目前支持Scala、Java和Python语言)创建透视表(pivot table)。透视可以视为一个聚合操作,通过该操作可以将一个(实际当中也可能是多个)具有不同值的分组列转置为各个独立的列。
看到pivot这个功能,大喜,迫不及待使用,只用一行代码就可以搞定:
  csv.groupBy("city_id","date_type").pivot("peak_type").sum("order_num")

Spark小技巧之pivot

简单高效有木有,最终效果展现如下,满足了我的需求。

;