Hanhan_Data_Science_Practice 数据分析,大数据开发,云计算以及其他任何很棒的东西! 大数据! - 极好的 为什么Spark很棒? Spark非常适合处理大数据问题! 天哪,在处理真正的大数据之前,我只是觉得它很酷而且很聪明! 今天我意识到,这真是太棒了! 特别是在我对4000000个文本记录(2G)编写了普通的Python迭代代码以提取多种模式之后。 我的普通python迭代代码,方法1: : 我的普通python迭代代码,方法2: : 我的Spark Python代码: : 运行时间比较:两种方法都使用普通的pyhton代码(方法2更快),花费