博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Spark的几个问题
阅读量:4353 次
发布时间:2019-06-07

本文共 360 字,大约阅读时间需要 1 分钟。

1、application是由driver和executor组成的,executor可以分成task,task又可以分成为stage。当一个任务提交给spark之后,spark机群的主节点会出现driver进程,从节点会出现executor进程。

2、standalone部署之后,主节点进程是master,工作节点进程是worker

3、spark只有计算功能,它没有存储功能,所以它必须依赖于hdfs,在安装spark之前,必须先安装hadoop。

4、有了spark,就可以写spark程序来做数据处理工作了,就不需要用MapReduce来做了,因为spark的计算速度是MapReduce的100倍以上。

 

转载于:https://www.cnblogs.com/zhangzl419/p/9015719.html

你可能感兴趣的文章
保护HTTP的安全
查看>>
python类的特殊成员变量
查看>>
sublime text3最新版本注册码(build 3143)
查看>>
linux使用技巧
查看>>
必背公式及常数
查看>>
利用CSS、JavaScript及Ajax实现图片预加载的三大方法
查看>>
js时间戳转时间格式
查看>>
Nginx配置文件nginx.conf中文详解(总结)
查看>>
Linux的用户态和内核态
查看>>
JavaScript原生错误及检测
查看>>
(原创) cocos2d-x 3.0+ lua 学习和工作(4) : 公共函数(3): 深度克隆clone()
查看>>
为什么写作
查看>>
整数子数组求最大和添加验证
查看>>
使用kubeadm安装Kubernetes
查看>>
Principal Component Analysis 主元分析
查看>>
JDBC原生态代码
查看>>
韩版可爱小碎花创意家居收纳挂袋
查看>>
计算机基础之硬件
查看>>
python操作mysql ------- SqlAchemy正传
查看>>
如何使用 JSP JSTL 显示/制作树(tree) 菜单
查看>>