线上集群中，如何处理出现大量错误日志的Pod

在线上集群中，有时候会遇到业务正常运行，但突然有一个Pod出现大量错误日志的情况，而其他Pod则正常运行。这种情况该如何处理呢？

直接删除Pod可能会导致保留现场困难，并影响对问题根本原因的判断。

让业务方忍耐一会，先排查问题是否是Pod导致的吗？这种方法可能会引起不满。

最佳的解决方案是停止该Pod接收流量，并保留该Pod。

思路是：

1. 停止接收流量

通过修改Pod的标签来实现停止接收流量的动作。本质上是通过将Pod从endpoint中移除，这样无论是服务化还是http都会将当前这个节点移除，不再转发流量。当然，前提是服务化和http的节点发现是基于k8s的endpoint来实现的（理论上都是这么干的，不排除有黑科技）。
首先要主动调用服务下线的方法，理论上这个调用应该会配在Pod的prestop钩子中，这样在Pod被删除时，会先调用这个方法，然后再删除Pod。

preStop:
    exec:
      command:
      - /bin/sh
      - -c
      - /bin/stop.sh

1. 将Pod从Workload中移除

调用下线完毕后，再修改Pod的标签，使Pod脱离Workload的控制，变成孤儿Pod，要注意修改Pod标签也要让service的selector选择不到这个Pod，这样Pod也就从endpoint中移除，服务发现也就感知不到这个节点了。

1. 如果Pod是消费型业务，比如nsq worker，不具备主动发起下线的方法，该怎么办？

针对这种情况，可以直接将Pod的网络切断，这样Pod就无法接收流量了。切断方式也很简单，直接在Pod上添加一个iptables规则，将流量全部丢弃即可。

/sbin/iptables -A INPUT -s {node_ip}/32 -j ACCEPT &&   // 允许节点访问，避免kubelet liveness检查失败
/sbin/iptables -A OUTPUT -d {node_ip}/32 -j ACCEPT &&
/sbin/iptables -A OUTPUT -s localhost -d localhost -j ACCEPT &&
/sbin/iptables -A INPUT -s localhost -d localhost -j ACCEPT &&
/sbin/iptables -A INPUT -p tcp --tcp-flags RST RST -j ACCEPT &&
/sbin/iptables -A OUTPUT -p tcp --tcp-flags RST RST -j ACCEPT &&
/sbin/iptables -A INPUT -p tcp -j REJECT --reject-with tcp-reset &&
/sbin/iptables -A OUTPUT -p tcp -j REJECT --reject-with tcp-reset"""