1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

Answer：

程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。

修改办法：

修改2个文件。

        /etc/security/limits.conf

vi /etc/security/limits.conf

加上：

* soft nofile 102400

* hard nofile 409600

    $cd /etc/pam.d/

    $sudo vi login

        添加        session    required     /lib/security/pam_limits.so

针对第一个问题我纠正下答案：

这是reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限造成的，上限默认为5。引起此问题的方式可能会有很多种，比如网络连接不正常，连接超时，带宽较差以及端口阻塞等。。。通常框架内网络情况较好是不会出现此错误的。

2：Too many fetch-failures

Answer:

出现这个问题主要是结点间的连通不够全面。

1) 检查 、/etc/hosts

   要求本机ip 对应 服务器名

   要求要包含所有的服务器ip + 服务器名

2) 检查 .ssh/authorized_keys

   要求包含所有服务器（包括其自身）的public key