從內(nèi)核看文件描述符傳遞的實現(xiàn)
文件描述符是內(nèi)核提供的一個非常有用的技術(shù)，典型的在服務(wù)器中，主進(jìn)程負(fù)責(zé)接收請求，然后把請求傳遞給子進(jìn)程處理。本文分析在內(nèi)核中，文件描述符傳遞是如何實現(xiàn)的。
我們先看一下文件描述符傳遞到底是什么概念。假設(shè)主進(jìn)程打開了一個文件，我們看看進(jìn)程和文件系統(tǒng)的關(guān)系。
如果這時候主進(jìn)程fork出一個子進(jìn)程，那么架構(gòu)如下。
我們看到主進(jìn)程和子進(jìn)程都指向同一個文件。那么如果這時候住進(jìn)程又打開了一個文件。架構(gòu)如下。
我們看到新打開的文件，子進(jìn)程是不會再指向了的。假設(shè)文件底層的資源是TCP連接，而主進(jìn)程想把這個關(guān)系同步到子進(jìn)程中，即交給子進(jìn)程處理，那怎么辦呢?這時候就需要用到文件描述符傳遞。下面是我們期待的架構(gòu)。
通常主進(jìn)程會close掉對應(yīng)的文件描述符，即解除引用關(guān)系。不過這里我們可以不關(guān)注這個。文件描述符這種能力不是天然，需要內(nèi)核支持，如果我們單純把fd(文件描述符)當(dāng)作數(shù)據(jù)傳給子進(jìn)程，子進(jìn)程無法指向?qū)?yīng)的文件的。下面我們?nèi)绾问褂眠@個技術(shù)并通過內(nèi)核來看看如何實現(xiàn)這個技術(shù)。下面使用代碼摘自Libuv。
- int fd_to_send;
- // 核心數(shù)據(jù)結(jié)構(gòu)
- struct msghdr msg;
- struct cmsghdr *cmsg;
- union {
- char data[64];
- struct cmsghdr alias;
- } scratch;
- // 獲取需要發(fā)送的文件描述符
- fd_to_send = uv__handle_fd((uv_handle_t*) req->send_handle);
- memset(&scratch, 0, sizeof(scratch));
- msg.msg_name = NULL;
- msg.msg_namelen = 0;
- msg.msg_iov = iov;
- msg.msg_iovlen = iovcnt;
- msg.msg_flags = 0;
- msg.msg_control = &scratch.alias;
- msg.msg_controllen = CMSG_SPACE(sizeof(fd_to_send));
- cmsg = CMSG_FIRSTHDR(&msg);
- cmsg->cmsg_level = SOL_SOCKET;
- cmsg->cmsg_type = SCM_RIGHTS;
- cmsg->cmsg_len = CMSG_LEN(sizeof(fd_to_send));
- /* silence aliasing warning */
- {
- void* pv = CMSG_DATA(cmsg);
- int* pi = pv;
- *pi = fd_to_send;
- }
- // fd是Unix域?qū)?yīng)的文件描述符
- int fd = uv__stream_fd(stream);
- // 發(fā)送文件描述符
- sendmsg(fd, &msg, 0);
我們看到發(fā)送文件描述符是比較復(fù)雜的，使用的主要數(shù)據(jù)結(jié)構(gòu)是msghdr。把需要發(fā)送的文件描述符保存到msghdr中，并設(shè)置一些標(biāo)記。然后通過Unix域發(fā)送(Unix是唯一一種支持文件描述符傳遞的進(jìn)程間通信方式)。我們下來主要來分析內(nèi)核對sendmsg的實現(xiàn)。
- case SYS_SENDMSG:
- err = __sys_sendmsg(a0, (struct user_msghdr __user *)a1,
- a[2], true);
該系統(tǒng)調(diào)用對應(yīng)的是__sys_sendmsg。
- long __sys_sendmsg(int fd, struct user_msghdr __user *msg, unsigned int flags,
- bool forbid_cmsg_compat){
- int fput_needed, err;
- struct msghdr msg_sys;
- struct socket *sock;
- // 根據(jù)fd找到socket
- sock = sockfd_lookup_light(fd, &err, &fput_needed);
- ___sys_sendmsg(sock, msg, &msg_sys, flags, NULL, 0);
- }
后面的鏈路很長syssendmsg->__sys_sendmsg->sock_sendmsg->sock_sendmsg_nosec。
- static inline int sock_sendmsg_nosec(struct socket *sock, struct msghdr *msg){
- int ret = INDIRECT_CALL_INET(sock->ops->sendmsg, inet6_sendmsg,
- inet_sendmsg, sock, msg,
- msg_data_left(msg));
- BUG_ON(ret == -EIOCBQUEUED);
- return ret;
- }
我們看到最后調(diào)用sock->ops->sendmsg，我們看看Unix域?qū)endmsg的實現(xiàn)。Unix域有SOCK_STREAM和SOCK_DGRAM兩種模式，我們選第一個分析就可以。
- static int unix_stream_sendmsg(struct socket *sock, struct msghdr *msg,
- size_t len){
- struct sock *sk = sock->sk;
- struct sock *other = NULL;
- int err, size;
- struct sk_buff *skb;
- int sent = 0;
- struct scm_cookie scm;
- bool fds_sent = false;
- int data_len;
- // 把文件描述符信息復(fù)制到scm
- scm_send(sock, msg, &scm, false);
- // 通信的對端
- other = unix_peer(sk);
- // 不斷構(gòu)建數(shù)據(jù)包skbuff發(fā)送，直到發(fā)送完畢
- while (sent < len) {
- // 分配一個sdk承載消息
- skb = sock_alloc_send_pskb(sk, size - data_len, data_len,
- msg->msg_flags & MSG_DONTWAIT, &err,
- get_order(UNIX_SKB_FRAGS_SZ));
- // 把scm復(fù)制到skb
- err = unix_scm_to_skb(&scm, skb, !fds_sent);
- // 把數(shù)據(jù)寫到skb
- err = skb_copy_datagram_from_iter(skb, 0, &msg->msg_iter, size);
- // 插入對端的消息隊列
- skb_queue_tail(&other->sk_receive_queue, skb);
- // 通知對端有數(shù)據(jù)可讀
- other->sk_data_ready(other);
- sent += size;
- }
- // ...
- }
我們看到，整體的邏輯不負(fù)責(zé)，主要是根據(jù)數(shù)據(jù)構(gòu)造skb結(jié)構(gòu)體，然后插入對端消息隊列，最后通知對端有消息可讀，我們這里只關(guān)注文件描述符的處理。首先我們看看scm_send。
- static __inline__ int scm_send(struct socket *sock, struct msghdr *msg,
- struct scm_cookie *scm, bool forcecreds){
- memset(scm, 0, sizeof(*scm));
- scm->creds.uid = INVALID_UID;
- scm->creds.gid = INVALID_GID;
- unix_get_peersec_dgram(sock, scm);
- if (msg->msg_controllen <= 0)
- return 0;
- return __scm_send(sock, msg, scm);}int __scm_send(struct socket *sock, struct msghdr *msg, struct scm_cookie *p){
- struct cmsghdr *cmsg;
- int err;
- for_each_cmsghdr(cmsg, msg) {
- switch (cmsg->cmsg_type)
- {
- case SCM_RIGHTS:
- err=scm_fp_copy(cmsg, &p->fp);
- if (err<0)
- goto error;
- break;
- }
- }
- }
我們看到__scm_send遍歷待發(fā)送的數(shù)據(jù)，然后判斷cmsg->cmsg_type的值，我們這里是SCM_RIGHTS(見最開始的使用代碼)，接著調(diào)用scm_fp_copy。
- static int scm_fp_copy(struct cmsghdr *cmsg, struct scm_fp_list **fplp){
- int *fdp = (int*)CMSG_DATA(cmsg);
- struct scm_fp_list *fpl = *fplp;
- struct file **fpp;
- int i, num;
- num = (cmsg->cmsg_len - sizeof(struct cmsghdr))/sizeof(int);
- if (!fpl)
- {
- fpl = kmalloc(sizeof(struct scm_fp_list), GFP_KERNEL);
- *fplp = fpl;
- fpl->count = 0;
- fpl->max = SCM_MAX_FD;
- fpl->user = NULL;
- }
- fpp = &fpl->fp[fpl->count];
- // 遍歷然后把fd對應(yīng)的file保存到fpp中。
- for (i=0; i< num; i++)
- {
- int fd = fdp[i];
- struct file *file;
- if (fd < 0 || !(file = fget_raw(fd)))
- return -EBADF;
- *fpp++ = file;
- fpl->count++;
- }
- if (!fpl->user)
- fpl->user = get_uid(current_user());
- return num;
- }
我們看到scm_fp_copy遍歷然后把fd對應(yīng)的file保存到fpp中。而fpp屬于fpl屬于fplp屬于最開始的struct scm_cookie scm(unix_stream_sendmsg函數(shù))，即最后把fd對應(yīng)的file保存到了scm中。接著我們回到unix_stream_sendmsg看unix_scm_to_skb。
- static int unix_scm_to_skb(struct scm_cookie *scm, struct sk_buff *skb, bool send_fds){
- int err = 0;
- UNIXCB(skb).pid = get_pid(scm->pid);
- UNIXCB(skb).uid = scm->creds.uid;
- UNIXCB(skb).gid = scm->creds.gid;
- UNIXCB(skb).fp = NULL;
- unix_get_secdata(scm, skb);
- if (scm->fp && send_fds)
- // 寫到skb
- err = unix_attach_fds(scm, skb);
- skb->destructor = unix_destruct_scm;
- return err;
- }
接著看unix_attach_fds。
- int unix_attach_fds(struct scm_cookie *scm, struct sk_buff *skb){
- int i;
- // 復(fù)制到skb
- UNIXCB(skb).fp = scm_fp_dup(scm->fp);
- return 0;}struct scm_fp_list *scm_fp_dup(struct scm_fp_list *fpl){
- struct scm_fp_list *new_fpl;
- int i;
- new_fpl = kmemdup(fpl, offsetof(struct scm_fp_list, fp[fpl->count]),
- GFP_KERNEL);
- if (new_fpl) {
- for (i = 0; i < fpl->count; i++)
- get_file(fpl->fp[i]);
- new_fpl->max = new_fpl->count;
- new_fpl->user = get_uid(fpl->user);
- }
- return new_fpl;
- }
至此我們看到數(shù)據(jù)和文件描述符都寫到了skb中，并插入了對端的消息隊列。我們接著分析對端時如何處理的。我們從recvmsg函數(shù)開始，對應(yīng)Uinix域的實現(xiàn)時unix_stream_recvmsg。
- static int unix_stream_recvmsg(struct socket *sock, struct msghdr *msg,
- size_t size, int flags){
- struct unix_stream_read_state state = {
- .recv_actor = unix_stream_read_actor,
- .socket = sock,
- .msg = msg,
- .size = size,
- .flags = flags
- };
- return unix_stream_read_generic(&state, true);
- }
接著看
- static int unix_stream_read_generic(struct unix_stream_read_state *state,
- bool freezable){
- struct scm_cookie scm;
- struct socket *sock = state->socket;
- struct sock *sk = sock->sk;
- struct unix_sock *u = unix_sk(sk);
- // 拿到一個skb
- skb = skb_peek(&sk->sk_receive_queue);
- // 出隊
- skb_unlink(skb, &sk->sk_receive_queue);
- // 復(fù)制skb數(shù)據(jù)到state->msg
- state->recv_actor(skb, skip, chunk, state);
- // 處理文件描述符
- if (UNIXCB(skb).fp) {
- scm_stat_del(sk, skb);
- // 復(fù)制skb的文件描述符信息到scm
- unix_detach_fds(&scm, skb);
- }
- if (state->msg)
- scm_recv(sock, state->msg, &scm, flags);
- }
內(nèi)核首先通過鉤子函數(shù)recv_actor把skb數(shù)據(jù)數(shù)據(jù)復(fù)制到state->msg，recv_actor對應(yīng)函數(shù)是unix_stream_read_actor。
- static int unix_stream_read_actor(struct sk_buff *skb,
- int skip, int chunk,
- struct unix_stream_read_state *state){
- int ret;
- ret = skb_copy_datagram_msg(skb, UNIXCB(skb).consumed + skip,
- state->msg, chunk);
- return ret ?: chunk;
- }
接著看unix_detach_fds。
- void unix_detach_fds(struct scm_cookie *scm, struct sk_buff *skb){
- int i;
- // 寫到scm中
- scm->fp = UNIXCB(skb).fp;
- UNIXCB(skb).fp = NULL;
- }
unix_detach_fds把文件描述符信息寫到scm。最后調(diào)用scm_recv處理文件描述符。
- static __inline__ void scm_recv(struct socket *sock, struct msghdr *msg,
- struct scm_cookie *scm, int flags){
- scm_detach_fds(msg, scm);}void scm_detach_fds(struct msghdr *msg, struct scm_cookie *scm){
- int fdmax = min_t(int, scm_max_fds(msg), scm->fp->count);
- int i;
- for (i = 0; i < fdmax; i++) {
- err = receive_fd_user(scm->fp->fp[i], cmsg_data + i, o_flags);
- if (err < 0)
- break;
- }
- }
scm_detach_fds中調(diào)用了receive_fd_user處理一個文件描述符。其中第一個入?yún)cm->fp->fp[i]是file結(jié)構(gòu)體，即需傳遞到文件描述符對應(yīng)的file。我們看看怎么處理的。
- static inline int receive_fd_user(struct file *file, int __user *ufd,
- unsigned int o_flags){
- return __receive_fd(-1, file, ufd, o_flags);}int __receive_fd(int fd, struct file *file, int __user *ufd, unsigned int o_flags){
- int new_fd;
- // fd是-1，申請一個新的
- if (fd < 0) {
- new_fd = get_unused_fd_flags(o_flags);
- } else {
- new_fd = fd;
- }
- if (fd < 0) {
- fd_install(new_fd, get_file(file));
- } else {
- // ...
- }
- return new_fd;
- }
我們看到首先申請了當(dāng)前進(jìn)程的一個新的文件描述符。然后調(diào)用fd_install關(guān)聯(lián)到file。
- void fd_install(unsigned int fd, struct file *file){
- // current->files是當(dāng)前進(jìn)程打開的文件描述符列表
- __fd_install(current->files, fd, file);}void __fd_install(struct files_struct *files, unsigned int fd,
- struct file *file){
- struct fdtable *fdt;
- // 拿到管理文件描述符的數(shù)據(jù)結(jié)構(gòu)
- fdt = rcu_dereference_sched(files->fdt);
- // 給某個元素賦值指向file
- rcu_assign_pointer(fdt->fd[fd], file);
- }
最后形成下圖所示的架構(gòu)。
后記，我們看到文件描述符傳遞的核心就是在發(fā)送的數(shù)據(jù)中記錄要傳遞的文件描述符對應(yīng)的file結(jié)構(gòu)體，然后發(fā)送做好標(biāo)記，接著接收的過程中，重新建立新的fd到傳遞的file的關(guān)聯(lián)關(guān)系。
