改用debian大致有半年了,以前向来用fedora,大概3年多,纵然软件包都很新,总是不太平静,有一点软件用着用着就机关退出了。

Linux下安装Hadoop完全布满式(Ubuntu12.10),hadoopubuntu12.10

Hadoop的装置特别轻松,能够在官方网址络下载到这几天的多少个本子,最佳使用牢固版。本例在3台机器集群安装。hadoop版本如下:

换了debain之后,那八个月还真是一向没啥难点,这里总括了有的安装配置情势,现在有的话再补偿。

工具/原料

  • hadoop-0.20.2.tar.gz
  • Ubuntu12.10

 

设置步骤:

  1. 1

    安装ubuntu 

    Ubuntu12.10交流空间4G(内部存款和储蓄器2G)。具体安装进程不赘述。

    顾客名联合为:hadoop;

    组群:hadoop;

    机器名:namenode(主节点),datanode1(从节点1),datanode2(从节点2)。

  2. 2

    在Ubuntu下开创hadoop客商组和顾客(也可在装置系统时经过分界面配置)

    1. 创建hadoop用户组;

         $ sudo addgroup hadoop  

         记下这里为 hadoop 客户设置的密码,前边使用 hadoop
    客户登陆时索要用到。

    2. 创建hadoop用户;

         $ sudo adduser -ingroup hadoop hadoop  

    3. 给hadoop客商增进权限,张开/etc/sudoers文件;

         $ sudo gedit /etc/sudoers 

    1. 给hadoop客户赋予root顾客同样的权柄。

    在root  ALL=(ALL:ALL)   ALL下增加如下内容:

     hadoop ALL=(ALL:ALL)   ALL    

    图片 1

  3. 3

    在Ubuntu下安装JDK

    布置遇到变量:

    $ sudo gedit /etc/profile

    在文件的终极加上如下内容,保存并关闭文件

    # for java

    export JAVA_HOME=/usr/lib/jvm/jdk1.8.0

    export JRE_HOME=${JAVA_HOME}/jre

    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

    export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

     

    使设置生效:到此部JDK的计划就都完毕了

    $ source /etc/profile

    为确定保证科学,进行简要的测量检验

    $ java -version

    输出:

    java version “1.8.0”

    Java(TM) SE Runtime Environment (build 1.8.0)

    Java HotSpot(TM) Server VM 

     

    修改私下认可JDK:

        sudo update-alternatives –install /usr/bin/java
    java /usr/lib/jvm/jdk1.8.0/bin/java 300

        sudo update-alternatives –install /usr/bin/javac
    javac /usr/lib/jvm/jdk1.8.0/bin/javac 300 

        sudo update-alternatives –install /usr/bin/jar
    jar /usr/lib/jvm/jdk1.8.0/bin/jar 300 

    以下两句可选(最佳实行):

    sudo update-alternatives –config java 

    sudo update-alternatives –config javac  

    图片 2
    图片 3

  4. 4

    纠正机器名(这步骤能够省略)

    每当ubuntu安装成功机遇器名都默感到:ubuntu
    ,但为了现在集群中能够轻巧辨别各台服务器,供给给每台机械取个不一样的名字。机器名由
    /etc/hostname文件决定。

    1. 打开/etc/hostname文件;

          $  sudo gedit /etc/hostname  

    2. 将/etc/hostname文件中的ubuntu改为相应机器,如主节点中,修改为”namenode”。 重启生效。

     

    3.修改/etc/hosts文件

         $  sudo gedit /etc/hosts

    改为如下所示,何况将每台机械的IP设置为定位IP

    图片 4

  5. 5

    安装ssh服务  

    此地的ssh不是指三大框架:spring,struts,hibernate,而是大器晚成种远程登入合同。

    ubuntu日常只是暗中认可安装了 ssh-agent, 能够用如下命令查看:

    $ sudo ps -ef | grep ssh  

    借使只有 ssh-agent 就要求设置openssh-server了。

    $ sudo apt-get install ssh openssh-server  

  6. 6

    确立ssh无密码登入本机

    率先要转移成hadoop顾客,施行以下命令:

        $ sudo su – hadoop  

     

    ssh生成密钥有rsa和dsa三种生成格局,私下认可情状下利用rsa情势。

    1. 创办ssh-key,,这里大家使用rsa情势;

        $ ssh-keygen -t rsa -P “”  

    *请注意, ssh-kengen 是用连字符连着的,千万不要分开。难题如下:*

    依据你的步驟執行的過程中自己在ssh -keygen -t rsa -P
    “”這邊發生的點小狀況輸入之後終端機顯示Bad escape character
    “ygen”(红字部分正是难点所在,他将 ssh-keygen 分开了。)

    (注:回车的前边会在~/.ssh/下生成多个公文:id_rsa和id_rsa.pub那多少个文本是成对现身的)

     

    2.  创立授权文件authorized_keys

        
    进入~/.ssh/目录下,开掘开端是未有authorized_keys文件的,能够采取以下二种格局:

      (1) 将id_rsa.pub追加到authorized_keys授权文件中;

          $ cd ~/.ssh  

         $ cat id_rsa.pub >> authorized_keys 

      (2) 复制 id_rsa.pub 为 authorized_keys

          $ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys  

    3. 登录localhost;

          $ ssh localhost  

    1. 推行退出命令(exit或CT瑞鹰L+D);  

    图片 5

  7. 7

    安装hadoop

     

     

    1. 借使hadoop-0.20.2.tar.gz在桌面,将它复制到安装目录/usr/local/下;

        $ sudo cp hadoop-0.20.2.tar.gz /usr/local/  

    2. 解压hadoop-0.20.2.tar.gz;

        $ cd /usr/local  

        $ sudo tar -zxvf hadoop-0.20.2.tar.gz  

    3. 将解压出的文本夹改名字为hadoop;

        $ sudo mv hadoop-0.20.2 hadoop  

    4. 将该hadoop文件夹的属主客商设为hadoop,

        $ sudo chown -R hadoop:hadoop hadoop  

    5. 打开hadoop/conf/hadoop-env.sh文件;

        $ sudo gedit hadoop/conf/hadoop-env.sh  

    6. 配置conf/hadoop-env.sh(找到#exportJAVA_HOME=…,去掉#,然后加上本机jdk的路径);

        export JAVA_HOME=*/usr/lib/jvm/jdk1.8.0  *

    7. 打开conf/core-site.xml文件;

       $ sudo gedit hadoop/conf/core-site.xml  

     

    <configuration>

         <property>

            <name>fs.default.name</name>

            <value>hdfs://namenode:9000</value>

         </property>

    </configuration>

    8. 打开conf/mapred-site.xml文件;

        $ sudo gedit hadoop/conf/mapred-site.xml  

     

    <configuration>

         <property>

             <name>mapred.job.tracker</name>

            <value>namenode:9001</value>

         </property>

    </configuration>

     

    9. 打开conf/hdfs-site.xml文件;

        $ sudo gedit hadoop/conf/hdfs-site.xml  

     

    <configuration>

         <property>

             <name>dfs.name.dir</name>

            
    <value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>

         </property>

         <property>

             <name>dfs.data.dir</name>

            
    <value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>

         </property>

         <property>

             <name>dfs.replication</name>

             <value>3</value>

         </property>

    </configuration>

    潜心:datalog1,datalog2,data1,data2文本夹最佳事先建好。

    10. 张开conf/masters文件,增添作为secondarynamenode的主机名.

    11. 开辟conf/slaves文件,增加作为slave的主机名,大器晚成行贰个。

    作者设置如下:

    图片 6
    图片 7
    图片 8

  8. 8

    运行hadoop

     

    1. 进去hadoop目录下,格式化hdfs文件系统,初次运行hadoop时必定就要有该操作, 

        $ cd /usr/local/hadoop/  

        $ bin/hadoop namenode -format  

    2. 启动bin/start-all.sh

    跻身bin目录下, $ ./start-all.sh         关闭:同目录下./stop-all.sh

    3. 检查评定hadoop是不是运维成功

        $ jps  

    4. Web查看


    一个jobtracker的web访谈接口,为的是方便客户查六柱预测关新闻。 

    临近的还恐怕有: 

    – web UI of theNameNode daemon 

    – web UI of theJobTracker daemon 

    – web UI of theTaskTracker daemon  

     

    图片 9
    图片 10 END

1. 安装 deb 包

对于早先一向用yum的本人来讲,刚起头还真不会用。

dpkg -i package.deb

 

注意事项

  • 集群中兼有机器的报到顾客名和所属组都要后生可畏致,本文客商名字为hadoop,组群也为Hadoop。
  • 每台机器的IP设置为定点IP,主机名-ip供给在每豆蔻梢头台机械里修改对应的hosts文件。
  • 小心代码中的粗斜体为具体安装目录,要和实在目录相仿。

Hadoop的设置特轻便,能够在官英特网下载到方今的多少个版本,最佳使用牢固版。本例…

2. 安装和配置 sudo

刚最初时,未有sudo命令,而且安装debian时设置的客商也未曾 sudo 权限。

  1. 切换到root用户
  2. apt-get install sudo
  3. 配备 /etc/sudoers,令你的帐户具备sudo权限

    root ALL=(ALL:ALL) ALL
    wangyubin ALL=(ALL:ALL) ALL # 增添要求的顾客

 

3. 安装 sudo 不用密码

 

先前fedora时习贯了不输入密码,所以在debian下也配备了生机勃勃晃

# User privilege specification
root    ALL=(ALL:ALL) ALL
#wangyubin    ALL=(ALL:ALL) ALL     <-- 这个是需要输入密码的
wangyubin    ALL=NOPASSWD: ALL     <-- 这个是不需要输入密码的

 

4. 充实扶植汉语的 locales

自我习贯用E文的系统,因为根本都以用命令行来操作,图形分界面用的没有多少,而E文输入起来相比较有利。

  1. sudo dpkg-reconfigure locales
  2. 选择 zh_CN.UTF-8 等多少个和中文相关的 locale

 

5. 声卡驱动装置

都早已debian7.4版了,没悟出暗中认可居然未有声音。。。

  1. 中下载 alsa-driver
  2. 下载后解压安装

    tar -xjf alsa-driver-1.0.25.3584.gb044d.tar.bz2
    cd alsa-driver-1.0.25.3584.gb044d
    ./configure –with-cards=hda-intel –with-card-options=all
    make -j5
    make install

    ls -al locate snd-hda-intel.ko
    alasmixter # 调治音量

补充: 我在英特尔 cpu的系统山还设置了 sudo apt-get install esound
才方可调度音量

 

 

参谋小说:

安装进程中只怕会缺乏一些包,

# 遇到 configure: error: required curses helper header not found
sudo apt-get install libncurses5-dev
# 遇到 configure: error: panelw library not found 
./configure --with-curses=ncurses
# 遇到 /bin/bash: xmlto: command not found 
sudo apt-get install xmlto
# 遇到mv: cannot stat `t-ja.gmo': No such file or directory
./configure --disable-nls

 

6. 显卡驱动 (ATI显卡)

  1. 未设置驱动前, 分辨率最多到 1600 * 1200 (小编有台intel
    cpu的机器不用安装显卡驱动)
  2. 先是通过 lspci 命令查看显卡型号
  3. AMD官英特网下载驱动
  4. 解压驱动, 然后施行安装就能够

 

7. fcitx安装

用习惯了fcitx。

  1. sudo apt-get install fcitx
  2. sudo apt-get install fcitx-pinyin
  3. ~/.bashrc 中加进如下内容:

    # fcitx
    export GTK_IM_MODULE=xim
    export XMODIFIERS=”@im=fcitx”
    export QT_IM_MODULE=xim

 

补充:还恐怕有意气风发种配备方式。

touch /etc/X11/Xsession.d/95input
vim /etc/X11/Xsession.d/95input

# 95input 中内容如下:
export XMODIFIERS=@im=fcitx
export XIM=fcitx
export XIM_PROGRAM=fcitx
export GTK_IM_MODULE=fcitx
export QT_IM_MODULE=XIM
fcitx

 

8. emacs 中使用 fcitx

设置完后开掘 emacs中以至调不出 fcitx。

  1. dpkg-reconfigure locales (增加 zh_CN 相关的locale)
  2. 在 /etc/default/locale中追加一句: LC_CTYPE=zh_CN.UTF-8

 

9. ssh连接非常慢

暗许的 debian 在用 ssh
连接远程机器的时候,总是要等后生可畏段时间才会提醒输入密码,刚初叶以为网速慢,后来察觉局域网中也会等大器晚成段时间才连上。

于是乎,上网找了消除方法:

  1. debian默许的ssh配置在三回九转其余linux时, 等30秒左右才会提醒输入密码
  2. 改善文件 /etc/nsswitch.conf

    # 找到 Host 那行, 改为如下方式:
    hosts: files dns [NOTFOUND=return]

 

10. 卸载ffmpeg及相关内容

花色中要用 ffmpeg,debian自带的极其太旧,于是想把自带的卸载掉再设置新的

sudo apt-get remove ffmpeg libav-tools libavdevice53 libavfilter2 libopencv-core2.3 libopencv-imgproc2.3 libtbb2

 

11. 安装时区

sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

 

12. python 安装 PIL时, 没有jpeg和zlib的支持

哪怕安装了 zlib 和 libjpeg 的package之后, 安装PIL仍旧

--------------------------------------------------------------------
 *** TKINTER support not available (Tcl/Tk 8.4 libraries needed)
 *** JPEG support not available
 *** ZLIB (PNG/ZIP) support not available
 *** FREETYPE2 support not available
--------------------------------------------------------------------

把 pip install PIL 改成 pip install pillow 就能够(pillow库也是图形处理的库)

 

13. 配置oracle java 环境

那是为了开辟android。

cd /opt
sudo tar zxvf ~/tools/jdk-7u51-linux-x64.tar.gz

sudo update-alternatives --install /usr/bin/java java /opt/jdk1.7.0_51/bin/java 1
sudo update-alternatives --install /usr/bin/javac javac /opt/jdk1.7.0_51/bin/javac 1
sudo update-alternatives --set java /opt/jdk1.7.0_51/bin/java
sudo update-alternatives --set javac /opt/jdk1.7.0_51/bin/javac

 

14. x86_64 架构的 debian 上安顿 android 开拓情况

亟需配备 32bit 的情形

sudo dpkg --add-architecture i386
sudo apt-get update
sudo apt-get install libc6:i386 libncurses5:i386 libstdc++6:i386 zlib1g:i386

 

15. x86_64 架构的 debian 上卸载 32bit 环境

sudo apt-get remove --purge `dpkg --get-selections | grep i386 | awk '{print $1}'`
sudo dpkg --remove-architecture i386

 

16. 安装 emacs24

debian7.4 stable版本的软件为了稳定都相比旧. 默许的emacs依然 v23的.

下边包车型大巴诀假使从源码安装新型的 emacs v24版

# 准备下载,编译源码的环境
sudo apt-get install git-core
sudo apt-get install libxaw7-dev libxpm-dev libpng12-dev libtiff5-dev libgif-dev libjpeg8-dev libgtk2.0-dev libncurses5-dev
sudo apt-get install autoconf automake
sudo apt-get build-dep emacs

# 下载源码 (下面2个源, 先下载试试看, 然后选择一个下载快的)
git clone --depth 1 https://github.com/emacsmirror/emacs.git
git clone --depth 1 git://git.sv.gnu.org/emacs.git

# 开始编译
cd emacs
./autogen.sh
./configure --prefix=/opt/emacs24
make

# 安装
sudo make install

 

17. 四个git帐号时, ssh认证的安装

  1. ssh默许的民用key 放在 ~/.ssh/id_rsa 文件中

  2. 变迁第1个帐号时, 须要如下步骤:

  •    – ssh-keygen -t rsa -C wangyb@chujuexinxi.com
  •    – 必要输入key的称呼, 无法用暗许名称了 举例: id_rsa_oschina
  •    – ssh-add id_rsa_oschina (一时增添两个ssh key)
  1. 千古配置多少个 ssh key

    host chujuexinxi.com
    user gituser
    hostname chujuexinxi.com
    port 22
    identityfile ~/.ssh/id_rsa_chujuexinxi_git

    host gitcafe.com
    user git
    hostname gitcafe.com
    port 22
    identityfile ~/.ssh/id_rsa_gitcafe

    host oschina.net
    user git
    hostname git.oschina.net
    port 22
    identityfile ~/.ssh/id_rsa_oschina

 

18. jpg 文件转 pdf的工具

sudo apt-get install imagemagick
convert 01.jpg 01.pdf

 

19. 机关截止或然运行服务

sudo apt-get install sysv-rc-conf
sudo sysv-rc-conf

 

20. debian 固定IP设置

auto lo eth0
iface lo inet loopback
iface eth0 inet static
address 192.168.1.77
netmask 255.255.255.0  
gateway 192.168.1.1

安装IP后重启网络

/etc/init.d/networking restart

 

21. debian 7 安装wireshark

暗中同意安装好的 wireshark 只好用root客户来施行,不然提醒找不到
*interfaces*

# 安装 wireshark
sudo apt-get install wireshark

# 创建 wireshark 组
sudo groupadd wireshark

# 将你的用户名添加到 wireshark 组
sudo usermod -a -G wireshark YOUR_USER_NAME

# 将 dumpcap 的所属组改为 wireshark
sudo chgrp wireshark /usr/bin/dumpcap

# 改变dumpcap的权限, 让wireshark 组成员可以执行该程序
sudo chmod 750 /usr/bin/dumpcap

# 使用setcap获取权限
sudo setcap cap_net_raw,cap_net_admin=eip /usr/bin/dumpcap

# 验证改变
sudo getcap /usr/bin/dumpcap

 

设置设置实现后,要求注销客户重新登入依旧直接重启系统。

相关文章