mac安装hadoop
- 作者: mountainsea
- 来源: 51数据库
- 2020-09-27
获取Java
当前Mac运行的操作系统是OS X 10.7 Lion，之前已经安装过Java了，可以在实用工具->终端中使用java -version命令来确认java的版本。如果没有安装java，也可以进入下面网址下载：http://support.apple.com/kb/dl1421。
获取Hadoop
具体的地址自己百度吧。我下载的是1.0.4的stable版本。
下载完之后解压缩，我这里放置的目录是/users/Billy/Hadoop。
配置mac os 自身环境
这个主要是配置ssh环境。先在terminal里面输入
ssh localhost
会有错误提示信息，表示当前用户没有权限。这个多半是系统为安全考虑，默认设置的。更改设置如下：进入system preference --> sharing --> 勾选remote login，并设置allow access for all users。再次输入“ssh localhost"，再输入密码并确认之后，可以看到ssh成功。
不过这里面还有一个麻烦，就是每次都会要求输入用户密码。《Hadoop实战》提供了一种免登陆的方法。首先，输入
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
ssh-keygen表示生成秘钥；-t表示秘钥类型；-P用于提供密语；-f指定生成的秘钥文件。这个命令在”~/.ssh/“文件夹下创建两个文件id_dsa和id_dsa.pub，是ssh的一对儿私钥和公钥。接下来，将公钥追加到授权的key中去，输入：
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
设置环境变量
在实际启动Hadoop之前，有三个文件需要进行配置。
但在这之前，我们需要设置一下几个类似Windows的环境变量，方便以后在命令行敲命令。
export HADOOP_HOME=/users/billy/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
配置hadoop-env.sh
在Hadoop->conf目录下，找到hadoop-env.sh，打开编辑进行如下设置：
export JAVA_HOME=/library/Java/Home（去掉注释）
export HADOOP_HEAPSIZE=2000（去掉注释）
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"（去掉注释）
注意第三个配置在OS X上最好进行配置，否则会报“Unable to load realm info from SCDynamicStore”。
配置core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/users/billy/hadoop/tmp/hadoop-${user.name}</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8020</value>
</property>
</configuration>
配置hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>2</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>2</value>
</property>
</configuration>
安装HDFS
经过以上的配置，就可以进行HDFS的安装了。
$HADOOP_HOME/bin/hadoop name node -format
如果顺利的话，会得到类似如下的输出：
BillymatoMacBook-Air:hadoop Billy$ $HADOOP_HOME/bin/hadoop namenode -format
Warning: $HADOOP_HOME is deprecated.
以上安装完成。
在pc上安装mac系统,和在pc上安装windows系统是完全不一样的，有很多人认为自己会用“雨林木风”之类的自动安装光盘安装xp了，觉得安装mac系统很简单。事实并不是这样的，如果在安装之前，没有做好安装准备工作，那么甚至有可能连安装界面都看不到，或者是安装完成后无法启动。在此我把安装mac系统之前要做的准备工作列举下来，请各位做好安装前的准备工作，以提高安装的成功率。也希望有些人在污蔑、诽谤和恶意评价之前，能够知道到底是什么原因导致看不到安装界面和安装完成后无法启动系统的。
1、备份重要的数据：将重要的数据备份到移动硬盘上，安装mac系统不会影响到您之前windows上面的数据，但是安装过程中的错误操作，会导致硬盘数据的损坏，所以一定要做好备份工作.
2、硬件的确定：在windows下使用硬件检测工具，对自己机器所有的硬件进行检测，这样可以知道你的机器是否可以安装mac系统，方便安装过程对驱动进行正确选择。
3、硬盘与光驱：intel芯片的主板和amd芯片的主板从ich8和7系列开始，对ide设备都采用第三方控制芯片支持的方式，这也是使用某些版本时出现无法进入安装画面和提示驱动器错误的原因，所以请使用ich8和7系列主板芯片的朋友尽量采用sata的硬盘与光驱设备。
4、网卡：安装mac中因为某些网卡无法通过系统硬件检测而导致安装无法进行，所以安装时请将网线从网卡断开，这样硬件检测时将会跳过网络监测。
5、鼠标键盘：鼠标和键盘和接口必须相同，不可以一个是ps2一个是usb，必须要都是ps2或者都是usb，mac系统对usb支持的最好，所以建议都选用usb。
6、分区：用于安装mac系统的分区，tiger要求最好在6g以上，leopard要求最好在10g以上。分区必须要求是主分区，不可以用逻辑分区。而且这个分区最好不要和当前机器上的启动分区挨着，也就是说当前你c盘装了windows，那么装mac的分区最好是e盘之后的，不可以用d盘，因为如果你是vista，那么安装完成后有可能出现分区表错误。
7、格式化：用于安装mac系统的分区，在安装之前需要使用winpm软件格式化成fat32格式，并且将这个分区的id修改成为af，这样安装mac的时候才可以正确识别到你的分区。
8、安装：将光盘放入光驱，设置光驱启动机器，重启进入mac安装界面开始安装（某些机器启动时需要按任意键才可以从光驱启动）
如果你有镜像的话‘那这个推荐给你～
另外就是如果对mac系统感兴趣还是建议使用苹果公司的东西～
当前Mac运行的操作系统是OS X 10.7 Lion，之前已经安装过Java了，可以在实用工具->终端中使用java -version命令来确认java的版本。如果没有安装java，也可以进入下面网址下载：http://support.apple.com/kb/dl1421。
获取Hadoop
具体的地址自己百度吧。我下载的是1.0.4的stable版本。
下载完之后解压缩，我这里放置的目录是/users/Billy/Hadoop。
配置mac os 自身环境
这个主要是配置ssh环境。先在terminal里面输入
ssh localhost
会有错误提示信息，表示当前用户没有权限。这个多半是系统为安全考虑，默认设置的。更改设置如下：进入system preference --> sharing --> 勾选remote login，并设置allow access for all users。再次输入“ssh localhost"，再输入密码并确认之后，可以看到ssh成功。
不过这里面还有一个麻烦，就是每次都会要求输入用户密码。《Hadoop实战》提供了一种免登陆的方法。首先，输入
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
ssh-keygen表示生成秘钥；-t表示秘钥类型；-P用于提供密语；-f指定生成的秘钥文件。这个命令在”~/.ssh/“文件夹下创建两个文件id_dsa和id_dsa.pub，是ssh的一对儿私钥和公钥。接下来，将公钥追加到授权的key中去，输入：
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
设置环境变量
在实际启动Hadoop之前，有三个文件需要进行配置。
但在这之前，我们需要设置一下几个类似Windows的环境变量，方便以后在命令行敲命令。
export HADOOP_HOME=/users/billy/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
配置hadoop-env.sh
在Hadoop->conf目录下，找到hadoop-env.sh，打开编辑进行如下设置：
export JAVA_HOME=/library/Java/Home（去掉注释）
export HADOOP_HEAPSIZE=2000（去掉注释）
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"（去掉注释）
注意第三个配置在OS X上最好进行配置，否则会报“Unable to load realm info from SCDynamicStore”。
配置core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/users/billy/hadoop/tmp/hadoop-${user.name}</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8020</value>
</property>
</configuration>
配置hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>2</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>2</value>
</property>
</configuration>
安装HDFS
经过以上的配置，就可以进行HDFS的安装了。
$HADOOP_HOME/bin/hadoop name node -format
如果顺利的话，会得到类似如下的输出：
BillymatoMacBook-Air:hadoop Billy$ $HADOOP_HOME/bin/hadoop namenode -format
Warning: $HADOOP_HOME is deprecated.
以上安装完成。
在pc上安装mac系统,和在pc上安装windows系统是完全不一样的，有很多人认为自己会用“雨林木风”之类的自动安装光盘安装xp了，觉得安装mac系统很简单。事实并不是这样的，如果在安装之前，没有做好安装准备工作，那么甚至有可能连安装界面都看不到，或者是安装完成后无法启动。在此我把安装mac系统之前要做的准备工作列举下来，请各位做好安装前的准备工作，以提高安装的成功率。也希望有些人在污蔑、诽谤和恶意评价之前，能够知道到底是什么原因导致看不到安装界面和安装完成后无法启动系统的。
1、备份重要的数据：将重要的数据备份到移动硬盘上，安装mac系统不会影响到您之前windows上面的数据，但是安装过程中的错误操作，会导致硬盘数据的损坏，所以一定要做好备份工作.
2、硬件的确定：在windows下使用硬件检测工具，对自己机器所有的硬件进行检测，这样可以知道你的机器是否可以安装mac系统，方便安装过程对驱动进行正确选择。
3、硬盘与光驱：intel芯片的主板和amd芯片的主板从ich8和7系列开始，对ide设备都采用第三方控制芯片支持的方式，这也是使用某些版本时出现无法进入安装画面和提示驱动器错误的原因，所以请使用ich8和7系列主板芯片的朋友尽量采用sata的硬盘与光驱设备。
4、网卡：安装mac中因为某些网卡无法通过系统硬件检测而导致安装无法进行，所以安装时请将网线从网卡断开，这样硬件检测时将会跳过网络监测。
5、鼠标键盘：鼠标和键盘和接口必须相同，不可以一个是ps2一个是usb，必须要都是ps2或者都是usb，mac系统对usb支持的最好，所以建议都选用usb。
6、分区：用于安装mac系统的分区，tiger要求最好在6g以上，leopard要求最好在10g以上。分区必须要求是主分区，不可以用逻辑分区。而且这个分区最好不要和当前机器上的启动分区挨着，也就是说当前你c盘装了windows，那么装mac的分区最好是e盘之后的，不可以用d盘，因为如果你是vista，那么安装完成后有可能出现分区表错误。
7、格式化：用于安装mac系统的分区，在安装之前需要使用winpm软件格式化成fat32格式，并且将这个分区的id修改成为af，这样安装mac的时候才可以正确识别到你的分区。
8、安装：将光盘放入光驱，设置光驱启动机器，重启进入mac安装界面开始安装（某些机器启动时需要按任意键才可以从光驱启动）
如果你有镜像的话‘那这个推荐给你～
另外就是如果对mac系统感兴趣还是建议使用苹果公司的东西～
推荐阅读
