频道澳门葡京手机版网址
登录注册
澳门葡京手机版网址 > 网络 > 云计算 > 正文

spark和hive整合常识点分享

2018-08-13 10:52:19           
收藏   我要投稿

1、在Spark的安装包下的conf下创建一个文件 hive-site.xml

hive.metastore.uris

thrift://node2:9083

不需要更新到其他的节点,只需要在客户端有一份hive-site.xml就可以

2、开启Hive的metaStore服务 hive --service metastore 以metastore启动hive

假如启动不了,可以cd ~到家目录下 创建一个vim startHiveMetastoreService.sh

source ~/.bashrc

hive --service metastore > /data/metastore.log 2>&1 &

记得创建:/data/metastore.log

./startHiveMetastoreService.sh启动

3、在spark的bin目录下启动spark sql: ./spark-shell --master spark://node1:7077 --total-executor-cores 3

4、import org.apache.spark.sql.hive.HiveContext

val hc = new HiveContext(sc) //new hive链接对象

hc.sql("show databases").show

hc.sql("use result").show

设置日志级别:sc.setLogLevel("INFO")

上一篇:数据收集之binlog同步----Maxwell实例分享
下一篇:大数据兼云计算之字段约束
相关文章
图文推荐

关于大家 | 联系大家 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 澳门葡京手机版网址_澳门新莆京娱乐_www.88807.com - 点此进入--致力于做实用的IT技术学习网站

XML 地图 | Sitemap 地图