容器高手实战课-容器的退出

2021-12-26

问题：docker stop 容器ID 容器中的进程是如何退出的？

验证一下：

c 语言程序作为 init 进程，fork 一个子进程。使用上面的 c 程序作为容器 init 进程，构建镜像。

启动容器：

1 2	[root@VM-0-2-centos fwd_sig]# docker run -d --name fwd_sig_1 fwd_sig /c-init-sig 2ed370d83b453b45eff4a51967bb791de32791b4ec27dbb75ffb682d0ebc8940

宿主机上查看容器中两个进程的 PID：

[root@2ed370d83b45 /]# ps -ef | grep c-init-sig
root         1     0  0 14:44 ?        00:00:00 /c-init-sig
root         6     1  0 14:44 ?        00:00:00 /c-init-sig
root        22     7  0 14:45 pts/0    00:00:00 grep --color=auto c-init-sig

使用 strace 来监控 init 进程和另一个进程收到的信号情况：

# 终端 1， strace -p <init进程pid>
[root@VM-0-2-centos ~]# strace -p 17208
strace: Process 17208 attached
restart_syscall(<... resuming interrupted read ...>) = 0
nanosleep({tv_sec=100, tv_nsec=0}, {tv_sec=69, tv_nsec=910103396}) = ? ERESTART_RESTARTBLOCK (Interrupted by signal)
--- SIGTERM {si_signo=SIGTERM, si_code=SI_USER, si_pid=0, si_uid=0} ---
write(1, "To create 1 processes\nParent cre"..., 82) = 82
exit_group(0)                           = ?
+++ exited with 0 +++

# 终端 2， strace -p <另一个进程pid>
[root@VM-0-2-centos fwd_sig]# strace -p 17234
strace: Process 17234 attached
restart_syscall(<... resuming interrupted read ...>) = ?
+++ killed by SIGKILL +++

init 进程收到 SIGTERM 信号退出，这时内核处理进程退出的入口点是 do_exit() 函数，do_exit() 会释放进程的相关资源（内存、文件句柄、信号量等）。在做完这些工作之后，它会调用一个 exit_notify() 函数，用来通知和这个进程相关的父子进程等。

对于容器来说，还要考虑 Pid Namespace 里的其他进程。这里调用的就是 zap_pid_ns_processes() 这个函数，而在这个函数中，如果是处于退出状态的 init 进程，它会向 Namespace 中的其他进程都发送一个 SIGKILL 信号。

进程退出流程


/*
     * The last thread in the cgroup-init thread group is terminating.
     * Find remaining pid_ts in the namespace, signal and wait for them
     * to exit.
     *
     * Note:  This signals each threads in the namespace - even those that
     *        belong to the same thread group, To avoid this, we would have
     *        to walk the entire tasklist looking a processes in this
     *        namespace, but that could be unnecessarily expensive if the
     *        pid namespace has just a few processes. Or we need to
     *        maintain a tasklist for each pid namespace.
     *
     */

    rcu_read_lock();
    read_lock(&tasklist_lock);
    nr = 2;
    idr_for_each_entry_continue(&pid_ns->idr, pid, nr) {
            task = pid_task(pid, PIDTYPE_PID);
            if (task && !__fatal_signal_pending(task))
                    group_send_sig_info(SIGKILL, SEND_SIG_PRIV, task, PIDTYPE_MAX);
    }

SIGKILL 信号是个特权信号，是无法捕获的，那么如何让容器中进程 graceful shutdown？或者说怎样让容器中的其他进程收到 SIGTERM 信号？

转发。

init 进程将收到的 SIGTERM 信号转发给子进程。比如 Docker Container 中使用的 tini 作为 init 进程，tini 会调
用 sigtimedwait() 来查看自己收到的信号然后调用 kill() 转发给子进程。

init 进程自己退出，还是会调用do_exit()的。所以呢，为了保证子进程先收到转发的SIGTERM, 类似tini的做法是，自己在收到SIGTERM的时候不退出，转发SIGTERM给子进程，子进程收到SIGTERM退出之后会给父进程发送SIGCHILD， tini是收到SIGCHILD之后主动整个程序退出。


 int wait_and_forward_signal(sigset_t const* const parent_sigset_ptr, pid_t const child_pid) {

        siginfo_t sig;

        if (sigtimedwait(parent_sigset_ptr, &sig, &ts) == -1) {
                switch (errno) {
…
                }
        } else {
                /* There is a signal to handle here */
                switch (sig.si_signo) {
                        case SIGCHLD:
                                /* Special-cased, as we don't forward SIGCHLD. Instead, we'll
                                 * fallthrough to reaping processes.
                                 */
                                PRINT_DEBUG("Received SIGCHLD");
                                break;
                        default:
                                PRINT_DEBUG("Passing signal: '%s'", strsignal(sig.si_signo));
                                /* Forward anything else */
                                if (kill(kill_process_group ? -child_pid : child_pid, sig.si_signo)) {
                                        if (errno == ESRCH) {
                                                PRINT_WARNING("Child was dead when forwarding signal");
                                        } else {
                                                PRINT_FATAL("Unexpected error when forwarding signal: '%s'", strerror(errno));

                                                return 1;
                                        }
                                }
                                break;
                }
        }
        return 0;
}

胖容器/富容器。

胖容器的init进程其实是一个bash脚本run.sh, 由它来启动jvm的程序。
但是run.sh本身没有注册SIGTERM handler, 也不forward SIGTERM给子进程jvm。
当stop容器的时候，run.sh先收到一个SIGTERM, run.sh没有注册SIGTERM, 所以呢对SIGTERM没有反应，contaienrd过30秒，会发SIGKILL给run.sh, 这样run.sh退出do_exit()，在退出的时候同样给子进程jvm程序发送了SIGKILL而不是SIGTERM。其实呢，jvm的程序是注册了SIGTERM handler的，但是没有机会调用handler了。

EOF