皮皮网

【rtf源码】【jsp用户注册源码】【印章生成网页源码】sparkui源码

时间:2024-12-24 08:49:17 分类:综合 来源:vvebo 源码

1.tez和spark区别

sparkui源码

rtf源码

tez和spark区别

rtf源码

       tez的优势spark都有,并且tez其实缓冲优势并不大。而spark的缓冲效果更明显,而且可以快速返回。例如:你查3万条数据,tez是要全部查询然后再返回的,而sparksql取到3万条其他就不算了(效果看起来是这样子,具体没看源码实现;md hive-on-spark还是会全部跑)。

rtf源码

        tez任务缓冲不能共享,spark更加细化,可以有process级别缓冲(就是用上次计算过的结果,加载过的缓冲)!例如,你查数据记录同时又要返回count,这时有些操作是prcess_local级别的,这个tez是不能比的!

rtf源码

        spark的日志UI看起来更便捷,呵呵

rtf源码

copyright © 2016 powered by 皮皮网   sitemap