修改密码： 用户名:root 密码:wg1%Bigdata

ALTER USER 'root'@'localhost' identified by 'wg1%Bigdata'; 

OK 就可以

mysql中创建用户

用户名: hadoop 密码: hadoop1%Bigdata

Grant all on *.* to 'hadoop'@'%' identified by 'hadoop1%Bigdata';
grant all on *.* to hadoop@'localhost' identified by 'hadoop1%Bigdata';
grant all on *.* to hadoop@'master' identified by 'hadoop1%Bigdata';
flush privileges;

尝试登录

quit;
su dayi
mysql -uhadoop -p"hadoop1%Bigdata"

MYSQL数据库里创建hive元数据库，叫hive1

查看当前数据库

show databases;

创建数据库

create database hive1;
show databases;
quit;

16. 安装hive

1.复制hive文件到resources

2.解压缩

#进入目录
cd ~/resources
# 解压缩
tar -zxvf apache-hive-1.2.1-bin.tar.gz
# 重命名（移动）
mv apache-hive-1.2.1-bin hive

3. NPP改配置文件

连接：

打开目录:~/resources/hive/conf

新建文件，右键文件夹hive-site.xml

内容如下：

 
   
    hive.metastore.local 
    true 
   
  
    javax.jdo.option.ConnectionURL
    jdbc:mysql://master:3306/hive1?characterEncoding=UTF-8
    
    
      javax.jdo.option.ConnectionDriverName
      com.mysql.jdbc.Driver 
    
   
      javax.jdo.option.ConnectionUserName 
      hadoop 
    
    
      javax.jdo.option.ConnectionPassword 
      hadoop1%Bigdata 
    

如果你的主机名不一样记得改这行： jdbc:mysql://master:3306/hive1?characterEncoding=UTF-8

jdbc:mysql://master:3306/hive1?characterEncoding=UTF-8
driver      host    port database_name  

hadoop 用户名
hadoop1%Bigdata 密码

4. 复制驱动

mysql-connector-java-5.1.42-bin.jar -> ~/resources/hive/lib

5.配置bash

配置环境变量

• npp

  

vim ~/.bash_profile

#添加这两行
export HIVE_HOME=~/resources/hive
export PATH=$PATH:$HIVE_HOME/bin

# 重载配置文件
source ~/.bash_profile

然后查看hive版本，如果能查看就说明环境目录成功了

hive --version

搞得和预言家一样

6. 替换文件

rm ~/resources/hadoop/share/hadoop/yarn/lib/jline-0.9.94.jar
cp ~/resources/hive/lib/jline-2.12.jar ~/resources/hadoop/share/hadoop/yarn/lib/

7. 启动hive

#1.下载原神(hadoop)
~/resources/hadoop/sbin/./start-all.sh

#2. 安装原神（mysqld）
service mysqld start

#3.启动原神
hive

原神：

8.启动

~/resources/hadoop/sbin/./start-all.sh
service mysqld start
hive

CRT 调整：

17.hive应用

hive>quit;

1. 新建文件

cd ~
mkdir cc
cd cc
vi stu

i 输入 ESC+:wq保存

查看文件

cat stu

2.启动hive

hive

命令:

• 查看数据库

  show databases;

  

• 创建数据库

  create database studb;
  show databases;

  

• 切换数据库

  use studb;

  

• 查看当前数据库里的表

  show tables;

  

• 创建表 \t来区分列

  create table if not exists stu
  (name string,age int,sex string)
  row format delimited fields terminated by '\t';
  show tables;

  

  查看文件： http://master:50070/explorer.html#/user/hive/warehouse/studb.db/

  

• 查看表的创建信息等

  show create table stu;

  

• 查看表结构

  desc stu;

  

3. 加载数据

在hive下

• 从文件加载数据

  load data local inpath '/home/dayi/cc/stu' into table stu;

  

• 查询表

  select * from stu;

  

• 删除表

  drop table stu;

  

• 删库跑路

  database没有表，为空

  drop database studb;

  

  有表的情况下

  drop database studb cascade;

4. 大数据分析-hive应用2

搜狗

ts    搜索时间
uid    用户id
kw    用户搜索的关键字
rank    搜索结果排序
orders    点击次数
url    访问的路径

创建

create database sogoudb;
show databases;

使用数据库

use sogoudb;

创建外部表

create external table if not exists sogou
(ts string,uid string,kw string,rank int,orders int,url string)
row format delimited fields terminated by '\t'
location '/s1/sogoudata';

查看表

show tables;
desc sogou;

加载数据方式2

把这个500M文件(sogou.500w.utf8)塞到cc目录(~/cc)

查看文件

cd ~/cc
ls -alh

上传文件

#上传文件（好慢）
hadoop fs -put sogou.500w.utf8 /s1/sogoudata
#查看文件
hadoop fs -ls /s1/sogoudata

http://dayi-bigdata-master:50070/explorer.html#/s1/sogoudata

进入hive-导入

在hive里

use sogoudb;

查询记录-前三条

select * from sogou limit 3;

查询表里总共多少记录

select count(*) from sogou;

超级慢

193秒：

查询UID总数

select count(distinct(uid)) from sogou;

还没执行完

177秒

select count(uid) from sogou 
group by uid;

出来了：

统计用户平均查询次数

$平均次数=总次数/用户个数$

建立临时表：

表a

总次数 = sum(a.cnt) 用户个数 = count(a.uid)

临时表a

select uid,count(*) as cnt
from sogou
group by uid;

总表：

select sum(a.cnt)/count(a.uid) from
(select uid,count(*) as cnt
from sogou
group by uid)as a;

开炮：

好慢：

出了

3.6964094557111005

查询频度最高的前10个关键字

SELECT kw, COUNT(kw) AS cnt
FROM sogou
GROUP BY kw
ORDER BY cnt DESC
LIMIT 10;

那个URL

好慢hhhh:

出来了：

18. zookeeper

1. 复制压缩包

cd resources
tar -zxvf zookeeper-3.4.6.tar.gz
mv zookeeper-3.4.6 zookeeper

recources/zookeeper/conf

文件zoo.cfg

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

server.1 服务器编号

master 服务器名

2888 服务端口

3888 选举端口

3.创

数据节点表示文件myid

位置 dataDir=/tmp/zookeeper

#位置在内存盘里 重启会丢失
mkdir -pv /tmp/zookeeper
cd /tmp/zookeeper
vi myid
输入1
然后ESC + :wq

# 那样建议这样写

#master
mkdir -pv /tmp/zookeeper && cd /tmp/zookeeper && echo 1 > myid
cat /tmp/zookeeper/myid

#slave1
mkdir -pv /tmp/zookeeper && cd /tmp/zookeeper && echo 2 > myid
cat /tmp/zookeeper/myid
#slave2
mkdir -pv /tmp/zookeeper && cd /tmp/zookeeper && echo 3 >myid
cat /tmp/zookeeper/myid

服务器炸了虚拟机没了（

4. 发送zookeeper发送到从节点

cd ~/resources/
ls

scp -r zookeeper slave1:~/resources/
scp -r ~/resources/zookeeper slave2:~/resources/

5. 传送bash_profile

scp -r ~/.bash_profile slave1:~/
scp -r ~/.bash_profile slave2:~/

# 从节点分别执行：
source ~/.bash_profile

6. 启动zookeeper

cd ~/resources/zookeeper/bin/
ls 
./zkServer.sh start

#一键
~/resources/zookeeper/bin/./zkServer.sh start

跟上了

验证启动

./zkServer.sh status

这样是正常的

炸了

调试（zkServer.sh print-cmd)

"/home/dayi/resources/jdk/bin/java" -Dzookeeper.log.dir="." -Dzookeeper.root.logger="INFO,CONSOLE" -cp "/home/dayi/resources/zookeeper/bin/../build/classes:/home/dayi/resources/zookeeper/bin/../build/lib/*.jar:/home/dayi/resources/zookeeper/bin/../lib/slf4j-log4j12-1.6.1.jar:/home/dayi/resources/zookeeper/bin/../lib/slf4j-api-1.6.1.jar:/home/dayi/resources/zookeeper/bin/../lib/netty-3.7.0.Final.jar:/home/dayi/resources/zookeeper/bin/../lib/log4j-1.2.16.jar:/home/dayi/resources/zookeeper/bin/../lib/jline-0.9.94.jar:/home/dayi/resources/zookeeper/bin/../zookeeper-3.4.6.jar:/home/dayi/resources/zookeeper/bin/../src/java/lib/*.jar:/home/dayi/resources/zookeeper/bin/../conf:"  -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.local.only=false org.apache.zookeeper.server.quorum.QuorumPeerMain "/home/dayi/resources/zookeeper/bin/../conf/zoo.cfg"

然后直接复制启动（你的跟我的不一样)

在这里看看报错是什么

出现错误看看这个文件是否正常

/tmp/zookeeper/myid

19. 安装hbase

1. 复制文件解压缩

cd ~/resources/
tar -zxvf hbase-0.98.9-hadoop2-bin.tar.gz
mv hbase-0.98.9-hadoop2 hbase

2. 修改配置文件

文件1

~/resources/hbase/conf/hbase-env.sh

29 行：

获得JAVA_HOME:

echo $JAVA_HOME

124行：

true : 使用habase自带的ZK（你启动失败了zookeeper）

false : 不使用hbase自带的ZK （上节课启动成功）

文件2

~/resources/hbase/conf/hbase-site.xml

hbase.cluster.distributed
true


hbase.rootdir
hdfs://master:9000/hbase


hbase.zookeeper.quorum
master:2181,slave1:2181,slave2:2181

文件3

regionservers

3. 添加环境变量

export HBASE_HOME=~/resources/hbase
export PATH=$PATH:$HBASE_HOME/bin
export HADOOP_CLASSPATH=$HBASE_HOME/lib/*

保存后，sources一下

两个从节点：

source ~/.bash_profile

4. 传送文件

scp -r ~/resources/hbase slave1:~/resources/
scp -r ~/resources/hbase slave2:~/resources/
scp -r ~/.bash_profile slave1:~/
scp -r ~/.bash_profile slave2:~/

source一下

#slave1
source ~/.bash_profile
#slave2
source ~/.bash_profile

5. 原神启动

hadoop

~/resources/hadoop/sbin/./start-all.sh

验证： http://master:50070

这种情况重新执行一下就行

zookeeper

#master
mkdir -pv /tmp/zookeeper && cd /tmp/zookeeper && echo 1 > myid
~/resources/zookeeper/bin/./zkServer.sh start
#slave1
mkdir -pv /tmp/zookeeper && cd /tmp/zookeeper && echo 2 > myid
~/resources/zookeeper/bin/./zkServer.sh start
#slave2
mkdir -pv /tmp/zookeeper && cd /tmp/zookeeper && echo 3 >myid
~/resources/zookeeper/bin/./zkServer.sh start

验证:

~/resources/zookeeper/bin/./zkServer.sh status

hbase

~/resources/hbase/bin/start-hbase.sh

验证： http://master:60010

20. hbase使用

1. shell

hbase shell

2. CRT

3. 命令1 list

4. 命令2 新建表

create 'stu','info','score'

        表名    列族1  列族2

4. 命令3 写数据

尽量不要超过三列

put 'stu','1','info:name','John'

put 'stu','2','info:age',20
put 'stu','3','info:name','Mary'
put 'stu','3','info:age',19

put 'stu','3','score:math',90

5. 读数据

两种方式

get 'stu','1'

get 'stu','3'

scan 读所有行

scan 'stu'

查看表结构

describe 'stu'

Table stu is ENABLED                                                                                                                                                                                            
COLUMN FAMILIES DESCRIPTION                                                                                                                                                                                     
{NAME => 'info', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'NONE', MIN_VERSIONS => '0', TTL => 'FOREVER', KEEP_DELETED_CELLS => 'FALSE', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'}                                                                                                                                                 
{NAME => 'score', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'NONE', MIN_VERSIONS => '0', TTL => 'FOREVER', KEEP_DELETED_CELLS => 'FALSE', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'}                                                                                                                                                
2 row(s) in 0.0680 seconds

6. 删除

删单元格

delete 'stu','3','score:Math'

删除失败好像不会报错。

删行

deleteall 'stu','2'
scan 'stu'

删表

1. 先让表失效
2. 删除表

disable 'stu'
drop 'stu'
 list

20 MapReduce

肚子疼死了 拉肚子拉的有点自闭，上课没跟上

1. 安装JDK

jdk-8u102-windows-x64.exe 安装目录不要带有中文，可以的话推荐选择 C:\Program Files\Java或者D:\Program Files\Java 有闸瓦环境了非1.8版本也建议再装一个。

2. 解压缩hadoop

1. 想法子把这个文件hadoop-2.6.4.tar.gz解压了

2. 推荐放到目录：D:\hadoop\hadoop-2.6.4

3. 然后修补下hadoop

需要替换文件直接替换即可。

D:\hadoop\hadoop-2.6.4\bin里面放下：

• hadoop-common-2.2.0-bin-master.zip里面的bin目录（替换文件）。
• hadoop.dll 放入 D:\hadoop\hadoop-2.6.4\bin （替换）
• winutils.exe 放入 D:\hadoop\hadoop-2.6.4\bin (替换)

3. 配置环境变量

这一步就是加4个（3个）环境变量，没那么复杂，但是会根据你电脑的实际情况有所不一样。所以篇幅比较大

如何修改环境变量？ 此电脑/这台电脑/计算机（在文件管理器里，防止你桌面的是个快捷方式）->右键 属性-> 找到高级系统设置 —> 高级 -> 环境变量

按你实际修改目录，用户变量和系统变量都可以。

好像如果JAVA_HOME目录有空格的话会有些问题，

• JAVA_HOME : C:\Program Files\Java\jdk1.8.0_102

  

• classpath : .;C:\Program Files\Java\jdk1.8.0_102\lib\dt.jar;C:\Program Files\Java\jdk1.8.0_102\lib\tools.jar;C:\Program Files\Java\jdk1.8.0_102\bin

• HADOOP_HOME: D:\hadoop\hadoop-2.6.4

• Path(不要跟*天宇一样直接删了再加，在原来的基础上修改，你的系统不应该没有这个环境变量参数(Path)，请先找找，这个环境变量是有顺序的，前面的会优先遍历) :

  • 这种的添加;C:\Program Files\Java\jdk1.8.0_102\bin\;D:\hadoop\hadoop-2.6.4\bin

    

  • 这种的新建两个条目，移动到最上面去
  • C:\Program Files\Java\jdk1.8.0_102\bin\
  • D:\hadoop\hadoop-2.6.4\bin

  • 

• 验证环境变量

java -version
echo %JAVA_HOME%
ECHO %HADOOP_HOME%
hadoop verison

D:\jdk\jdk1.8.0_102

遇到这个问题：

我也不知道影不影响，原因是：Program Files中存在空格，然后他不能正常用，两个方法：

• 方法1:把JAVA_HOME环境变量中的Program Files改为：PROGRA~1，比如这里我改为了：C:\PROGRA~1\Java\jdk1.8.0_102

  

• 方法2(推荐）：把JDK复制一份到普通目录中（不带空格），然后修改JAVA_HOME到这里

  

  

• 方法三：虽然我带着的空格，但是跑起来很正常，老师跟我说是这样（求告知）

他这个JAVA_HOME的路径带空格好像会奇奇怪怪的

改成JAVA_HOME = "C:/xxxxx/jre1.8_102"（带引号会这样）

复制了jdk到没空格的目录 把hadoop的env

这样好像可以 感觉不应该呀，带空格就识别不出来感觉不至于有这种低级问题bia

• 也可以尝试修改这个文件的25行D:\hadoop\hadoop-2.6.4\etc\hadoop\hadoop-env.cmd

  

总之： 执行：

java -version
echo %JAVA_HOME%
ECHO %HADOOP_HOME%
hadoop verison

第一行和最后一行的结果应该这样，但是你的如果有点多余的东西，应该也不是很影响？

4. 新建项目

1. 配置Eclipse

感谢王策哥哥

windows->preference->java->install JREs->add->standard VM

2. 新建工程

感谢王策 file->new project->java project->next->name->finish

3. 导包

1. ALT+ENTER 打开项目设置
2. JAVA BUILD PATH -> 添加外部库
3. 导入hadoop环境jar包

D:\hadoop\hadoop-2.6.4\share\hadoop\common所有jar包
D:\hadoop\hadoop-2.6.4\share\hadoop\common\lib所有jar包

D:\hadoop\hadoop-2.6.4\share\hadoop\hdfs所有jar包
D:\hadoop\hadoop-2.6.4\share\hadoop\hdfs\lib所有jar包

D:\hadoop\hadoop-2.6.4\share\hadoop\mapreduce所有jar包
D:\hadoop\hadoop-2.6.4\share\hadoop\mapreduce\lib所有jar包

D:\hadoop\hadoop-2.6.4\share\hadoop\yarn所有jar包
D:\hadoop\hadoop-2.6.4\share\hadoop\yarn\lib所有jar包

5. 新建包

新建org.apache.hadoop.io.nativeio

org.apache.hadoop.io.nativeio

然后把NativeIO.java弄到包里

可以直接拖过来

新建包 my

my

同样的，把文件弄过去

如果需要修改的话这里：

到master下修改下目录权限

master

#启动hadoop
~/resources/hadoop/sbin/./start-all.sh

看看网页： http://master:50070/dfshealth.html#tab-datanode

正常的话， 设置777权限

hadoop fs -chmod 777 /

6. 尝试新建目录

运行Test.java

这样就好啦

单词统计

• 21 行 可能需要重新配置

存放数据源

master

mkdir -pv ~/aa
cd ~/aa
vim ~/aa/words
cat ~/aa/words

[dayi@dayi-bigdata-master aa]$ cat ~/aa/words
ovo ovo
Hello words
Pig man
ZOOKEEPER
HADOOP
Hello words
ovo ovo
Zhangsan like pigman
Do u wanna build a snowman?
Come on let’s go and play!
I never see you anymore
come out the door

上传words

• 目录是否正常

hadoop fs -ls /

Found 6 items
drwxr-xr-x   - dayi          supergroup          0 2023-10-26 17:09 /hbase
drwxr-xr-x   - dayi          supergroup          0 2023-10-11 14:43 /ovo
drwxr-xr-x   - dayi          supergroup          0 2023-10-18 23:40 /s1
drwx-wx-wx   - dayi          supergroup          0 2023-10-18 23:57 /tmp
drwxr-xr-x   - dayi          supergroup          0 2023-10-18 23:01 /user
drwxr-xr-x   - Administrator supergroup          0 2023-11-01 23:37 /ww
[dayi@dayi-bigdata-master aa]$ 

要有这个/ww目录
没有的话

hadoop fs -mkdir /ww
hadoop fs -chmod 777 /ww

• 上传文件

hadoop fs -put ~/aa/words /ww
hadoop fs -cat /ww/words

运行程序

查看文件：

http://master:50070/explorer.html#/ww/result

21 mapperreduce 代码

读取文件

package my;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class ReadData {
 public static void main(String[] args) throws Exception{
  String hdfs_addr = "hdfs://dayi-bigdata-master:9000";
  String uriSrting=hdfs_addr +"/ww/words";
  Configuration config = new Configuration();
  FSDataInputStream inputStream=null;
  try{
   FileSystem fileSystem = FileSystem.get(URI.create(hdfs_addr),config);
   inputStream = fileSystem.open(new Path(uriSrting));
   IOUtils.copyBytes(inputStream, System.out, 4096,false);
  }catch(Exception e){
   e.printStackTrace();
  }finally{
   IOUtils.closeStream(inputStream);
  }
 }
}

新建目录

上传文件

package my;

import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class PutFile {
  public static void main(String[] args) {
    String hdfs_addr = "hdfs://dayi-bigdata-master:9000";
    try{
      FileSystem fileSystem = FileSystem.get(URI.create(hdfs_addr),new Configuration());
      Path src = new Path("C:\\Windows\\System32\\drivers\\etc\\hosts");
      Path desc=new Path(hdfs_addr+"/ww/ff");
    fileSystem.copyFromLocalFile(src, desc);
    }catch (Exception e){
      e.printStackTrace();
    }
  }
}

下载文件

hadoop fs -chmod 777 /ww/ff

package my;

import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class GetFile {
  public static void main(String[] args) throws IOException {
    String hdfs_addr = "hdfs://dayi-bigdata-master:9000";
    // FileSystem fileSystem = new FileSystem.get(URI.create(hdfs_addr),new Configuration());
    FileSystem fileSystem=FileSystem.get(URI.create(hdfs_addr), new Configuration());
    Path src = new Path(hdfs_addr+"/ww/ff");

    try{
      FileOutputStream outputStream=new FileOutputStream("D:\\c.txt");
      FSDataInputStream inputStream=fileSystem.open(src);
   IOUtils.copyBytes(inputStream, outputStream, 4096, false);
  } catch (Exception e) {
   // TODO: handle exception
   e.printStackTrace();
  }

  }
}

列表

下发源文件

删除文件

下发文件

结束

OVO