博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Spark技术互动问答分享
阅读量:6955 次
发布时间:2019-06-27

本文共 1183 字,大约阅读时间需要 3 分钟。

hot3.png

Q1:新手学习spark如何入手才好?

  • 先学习Scala的内容,强烈推荐《快学Scala》;

  • 然后按照我们免费发布的“云计算分布式大数据Spark实战高手之路(共3本书)”循序渐进的学习即可,其中“云计算分布式大数据Spark实战高手之路---从零开始”涵盖了Spark1.0的所有主题:包括Spark集群的构建,Spark架构设计、Spark内核剖析、Shark、Spark SQL、Spark Streaming、图计算GraphX、机器学习、Spark on Yarn、JobServer等,为了方便大家学习Spark,网络发布版本采用图文并茂的方式发布,这样大家在阅读的时候就像家林在身边做演示和讲解一样,不亦乐哉!以Spark集群的搭建为例,  对于90%以上想学习Spark的人而言,如何构建Spark集群是其最大的难点之一,为了解决大家构建Spark集群的一切困难,家林在“云计算分布式大数据Spark实战高手之路---从零开始”的第一章节中把Spark集群的构建分为了四个步骤,每个步骤为一个小节,从零起步,不需要任何前置知识,涵盖操作的每一个细节,构建完整的Spark集群。

Q2:我想问,hdfs的namenode挂了,怎么处理?

  • 使用ZooKeeper;

  • 使用Mesos;

  • 使用Yarn;

Q3:用python和scala区别大吗?

  • 就代码的风格而言是不大的;

  • 世界上也有很多人使用python开发Spark程序;

  • 但是最为推荐的是Scala,因为Spark框架是用Scala编写的,在API方面对Scala的支持也是最好的;

Q4:对几百T的数据,现在SPARK支持得如何?

  • Spark能够非常好的处理几十T或者几百T的数据;

  • 正如Spark能够轻松处理PB级别的数据;

Q5:可以结果直接输出到关系型数据库吗?

  • 目前不可以;

  • 一般都是把结果直接输出到HDFS上;

  • 让后在采用Sqoop等工具把数据导入到Oracle、MySQL等数据库中;

Q6:SPARK环境需要哪些? 除了HDFS基础,有SPARK集成包么?

  • Spark的安装需要Hadoop的HDFS;

  • Spark有自己的集成包,但是依旧需要HDFS的配合;

  • 同时Spark也可以部署到亚马逊云上;

Q7:spark的缺点是什么?不适合做什么?

  • 目前主要的缺点是对数据细粒度的支持不够好;

Q8:spark sql可以代替hive和hbase吗?

  • Spark SQL可以取代Hive;

  • Spark SQL可以完成HBase的大部分功能;

  • Spark Streaming配合Spark SQL可以取代HBase;

Q9:没有java基础可否直接看scala语言?

  • 可以直接看Scala语言;

转载于:https://my.oschina.net/u/1791057/blog/294568

你可能感兴趣的文章
python-字典
查看>>
收藏列表
查看>>
Linux信任主机(SSH)
查看>>
oracle数据库安装条件查询
查看>>
云服务IaaS,PaaS,SaaS的区别
查看>>
MFC 菜单
查看>>
ES权威指南[官方文档学习笔记]-6 document oriented
查看>>
ES权威指南[官方文档学习笔记]-23 Add an index
查看>>
Badboy自动化测试工具4 运行脚本
查看>>
IEC61850之TrgOps报告触发选项各bit位表示含义
查看>>
python while循环和双层循环
查看>>
ubuntu增加swap空间
查看>>
命令 cd
查看>>
数据结构C语言之多项式
查看>>
iOS 友盟统计
查看>>
libshmcache:速度比远程接口如redis快100倍以上
查看>>
无法载入虚拟机系统
查看>>
高性能WEB开发之如何减少请求数
查看>>
python3-字典的循环
查看>>
我的友情链接
查看>>