Ubuntu18.04 + Docker搭建全分布式Spark集群

所需软件 名称 链接 Ubuntu-18.04 点击进入官网 Docker-18.09 点击进入官网or博客 Java-1.8. 点击进入官网 Hadoop-2.8.5 点击进入官网 Scala-2….

使用sqoop从hive中导入数据到hbase

简单的操作 hbase中建表并注入数据 创建一个test的表 插入数据 扫描test 查看结构 修改表 解锁表 修改 锁定表 再次查看表 清空表 再次扫描表 删除表 解锁表 删除表 list查看,就已…

HBASE 创建表出错:ERROR: java.io.IOException: Table Namespace Manager not ready yet, try again later

当需要创建表的时候出现如下报错: 序号 出错原因 解决方案 1 没有关闭安全模式 在hadoop目录输入bin/hadoop dfsadmin -safemode leave 2 把单机配置到多机 当…

MapReduce处理通过采集的气象数据分析每年的最高温度

数据来源于:NCDC 美国国家气候数据中心 这里是五条源数据: 对数据格式进行解释: 位置 数据 含义 1-4 0029 5-10 029070 USAF weather station identi…

MapReduce提取一条日志文件中的IP,并计算出访问的次数

MapReduce提取一条日志文件中的IP,并计算出访问的次数

这个和我 上篇博客中的代码差不多的,都是用的一个框架,因为原理都是差不多,所以稍微改一下算法就好了。部分源数据如下: 我去研究了一下日志文件,其实是有特定格式的: 字段 说明 date 发出请求时候的…