Ubuntu18.04 + Docker搭建全分布式Spark集群
所需软件 名称 链接 Ubuntu-18.04 点击进入官网 Docker-18.09 点击进入官网or博客 Java-1.8. 点击进入官网 Hadoop-2.8.5 点击进入官网 Scala-2….
使用sqoop从hive中导入数据到hbase
简单的操作 hbase中建表并注入数据 创建一个test的表 插入数据 扫描test 查看结构 修改表 解锁表 修改 锁定表 再次查看表 清空表 再次扫描表 删除表 解锁表 删除表 list查看，就已…
HBASE 创建表出错：ERROR: java.io.IOException: Table Namespace Manager not ready yet, try again later
当需要创建表的时候出现如下报错： 序号 出错原因 解决方案 1 没有关闭安全模式 在hadoop目录输入bin/hadoop dfsadmin -safemode leave 2 把单机配置到多机 当…
MapReduce处理通过采集的气象数据分析每年的最高温度
数据来源于：NCDC 美国国家气候数据中心 这里是五条源数据： 对数据格式进行解释： 位置 数据 含义 1-4 0029 5-10 029070 USAF weather station identi…
MapReduce提取一条日志文件中的IP，并计算出访问的次数
这个和我 上篇博客中的代码差不多的，都是用的一个框架，因为原理都是差不多，所以稍微改一下算法就好了。部分源数据如下： 我去研究了一下日志文件，其实是有特定格式的： 字段 说明 date 发出请求时候的…