当下数据矿工们谈论最多的,莫过于这「星火」了。Spark这名字,总让我联想起高中背过的单词书,从而印象不佳,哈哈。
今天也凑了把热闹,把一个日志解析的模块改成Spark实现,算是体验之旅吧。
刚开始我是用看起来很像Swift的Scala写的:SparkLogExtract.scala
然后我希望为这个程序增加参数传入的功能,然后我谷歌大法了,然后就没有然后了。
总体感觉Scala是一个不够可爱的姑娘,表现在:
当然要换回熟悉的Python!
接下来就爽快多了,除了map的函数传参遇到了困难(最后我恶心地用一个lambda调用普通函数搞定了),其他一帆风顺,运行速度和Scala一样快的(嘿嘿)。
代码请见:spark_log_extract.py
求赐星星!
来自:建造者说
上一篇:python functools