ustb_sjp

Pexpect是一个用来启动子程序并对其进行自动控制的Python模块，它可以用来和像ssh,ftp,passwd,telnet等命令行程序进行自动交互。

用户应用new SparkContext后，集群就会为在Worker上分配executor,但是增加executor的时候需要考虑好内存消耗，因为一台机器的内存分配给越多的executor，每个executor的内存就越小，以致出现过多的数据spill over甚至out of memory的情况。