完整部署北大天网搜索引擎TSE

完整部署北大天网搜索引擎TSE

最近在学习《搜索引擎——原理、技术与系统》这本书,书虽然有点年代感,但是技术永远不会过时。所以就来搭建一个自己的搜索引擎,下载源码,然后来学习,这里博客作笔记使用,同时也希望和更多的人一起讨论分享。 …

Ubuntu18.04 + Docker搭建全分布式Spark集群

所需软件 名称 链接 Ubuntu-18.04 点击进入官网 Docker-18.09 点击进入官网or博客 Java-1.8. 点击进入官网 Hadoop-2.8.5 点击进入官网 Scala-2….

使用sqoop从hive中导入数据到hbase

简单的操作 hbase中建表并注入数据 创建一个test的表 插入数据 扫描test 查看结构 修改表 解锁表 修改 锁定表 再次查看表 清空表 再次扫描表 删除表 解锁表 删除表 list查看,就已…

Win10/Ubuntu双系统安全完全卸载Ubuntu的方法

Win10/Ubuntu双系统安全完全卸载Ubuntu的方法

有时候不得不得卸载自己双系统的另一个系统(就是自己手贱点关机了,里面有我的深度学习框架和资料,啊啊啊啊啊啊)。 以后要记住,在任何linux做任何升级的时候 不要去关机!不要去关机!不要去关机 使用的…

微信小程序–获取当前位置信息

微信小程序–获取当前位置信息

本博文的例子思路是设置初始城市名为广州市,然后通过点击按钮获取自己城市名。把广州市替换为自己的城市名。 查看官方开发文档 官方文档 wx.getLocation(OBJECT)获取当前的地理位置、速度…

linux配置GitHub并简单的操作git

linux配置GitHub并简单的操作git

机子是openSUSE,所以命令界面会有所不同 准备GitHub 讲解如何创建 Github 账户和如何创建远程仓库 创建账号 用户名,邮箱,密码 创建仓库 输入仓库名,gitignore,可以随便写…

HBASE 创建表出错:ERROR: java.io.IOException: Table Namespace Manager not ready yet, try again later

当需要创建表的时候出现如下报错: 序号 出错原因 解决方案 1 没有关闭安全模式 在hadoop目录输入bin/hadoop dfsadmin -safemode leave 2 把单机配置到多机 当…

MapReduce处理通过采集的气象数据分析每年的最高温度

数据来源于:NCDC 美国国家气候数据中心 这里是五条源数据: 对数据格式进行解释: 位置 数据 含义 1-4 0029 5-10 029070 USAF weather station identi…

MapReduce提取一条日志文件中的IP,并计算出访问的次数

MapReduce提取一条日志文件中的IP,并计算出访问的次数

这个和我 上篇博客中的代码差不多的,都是用的一个框架,因为原理都是差不多,所以稍微改一下算法就好了。部分源数据如下: 我去研究了一下日志文件,其实是有特定格式的: 字段 说明 date 发出请求时候的…

CentOS7部署Hadoop2.7.5全分布式群集

首先说个,里面的链接都是我之前csdn博客的,迁移过来的文章我就不改了,有需要可以跳过去看。 安装虚拟机 VMware Workstation 12.5.7 PRO 安装 CentOS7 安装JDK …