文章新地址:https://github.com/AngryHacker/articles/issues/2#issue-369871321
如有問題請在新地址提問
tinyhttpd 是一個不到 500 行的超輕量型 Http Server,用來學習非常不錯,可以幫助我們真正理解服務器程序的本質。
看完所有源碼,真的感覺有很大收穫,無論是 unix 的編程,還是 GET/POST 的 Web 處理流程,都清晰了不少。廢話不說,開始我們的 Server 探索之旅。
(水平有限,如有錯誤之處,歡迎指正)
項目主頁
http://sourceforge.net/projects/tinyhttpd/
主要函數
這是所有函數的聲明:
void accept_request(int);
void bad_request(int);
void cat(int, FILE *);
void cannot_execute(int);
void error_die(const char *);
void execute_cgi(int, const char *, const char *, const char *);
int get_line(int, char *, int);
void headers(int, const char *);
void not_found(int);
void serve_file(int, const char *);
int startup(u_short *);
void unimplemented(int);
先簡單地解釋每個函數的作用:
accept_request: 處理從套接字上監聽到的一個 HTTP 請求,在這裏可以很大一部分地體現服務器處理請求流程。
bad_request: 返回給客戶端這是個錯誤請求,HTTP 狀態嗎 400 BAD REQUEST.
cat: 讀取服務器上某個文件寫到 socket 套接字。
cannot_execute: 主要處理髮生在執行 cgi 程序時出現的錯誤。
error_die: 把錯誤信息寫到 perror 並退出。
execute_cgi: 運行 cgi 程序的處理,也是個主要函數。
get_line: 讀取套接字的一行,把回車換行等情況都統一爲換行符結束。
headers: 把 HTTP 響應的頭部寫到套接字。
not_found: 主要處理找不到請求的文件時的情況。
sever_file: 調用 cat 把服務器文件返回給瀏覽器。
startup: 初始化 httpd 服務,包括建立套接字,綁定端口,進行監聽等。
unimplemented: 返回給瀏覽器表明收到的 HTTP 請求所用的 method 不被支持。
建議源碼閱讀順序: main -> startup -> accept_request -> execute_cgi, 通曉主要工作流程後再仔細把每個函數的源碼看一看。
工作流程
(1) 服務器啓動,在指定端口或隨機選取端口綁定 httpd 服務。
(2)收到一個 HTTP 請求時(其實就是 listen 的端口 accpet 的時候),派生一個線程運行 accept_request 函數。
(3)取出 HTTP 請求中的 method (GET 或 POST) 和 url,。對於 GET 方法,如果有攜帶參數,則 query_string 指針指向 url 中 ? 後面的 GET 參數。
(4) 格式化 url 到 path 數組,表示瀏覽器請求的服務器文件路徑,在 tinyhttpd 中服務器文件是在 htdocs 文件夾下。當 url 以 / 結尾,或 url 是個目錄,則默認在 path 中加上 index.html,表示訪問主頁。
(5)如果文件路徑合法,對於無參數的 GET 請求,直接輸出服務器文件到瀏覽器,即用 HTTP 格式寫到套接字上,跳到(10)。其他情況(帶參數 GET,POST 方式,url 爲可執行文件),則調用 excute_cgi 函數執行 cgi 腳本。
(6)讀取整個 HTTP 請求並丟棄,如果是 POST 則找出 Content-Length. 把 HTTP 200 狀態碼寫到套接字。
(7) 建立兩個管道,cgi_input 和 cgi_output, 並 fork 一個進程。
(8) 在子進程中,把 STDOUT 重定向到 cgi_outputt 的寫入端,把 STDIN 重定向到 cgi_input 的讀取端,關閉 cgi_input 的寫入端 和 cgi_output 的讀取端,設置 request_method 的環境變量,GET 的話設置 query_string 的環境變量,POST 的話設置 content_length 的環境變量,這些環境變量都是爲了給 cgi 腳本調用,接着用 execl 運行 cgi 程序。
(9) 在父進程中,關閉 cgi_input 的讀取端 和 cgi_output 的寫入端,如果 POST 的話,把 POST 數據寫入 cgi_input,已被重定向到 STDIN,讀取 cgi_output 的管道輸出到客戶端,該管道輸入是 STDOUT。接着關閉所有管道,等待子進程結束。這一部分比較亂,見下圖說明:
圖 1 管道初始狀態
圖 2 管道最終狀態
(10) 關閉與瀏覽器的連接,完成了一次 HTTP 請求與迴應,因爲 HTTP 是無連接的。
註釋版源碼
源碼已寫了註釋,放在 Github: 這裏
懶得跳轉的同學看下面....
/* J. David's webserver */
/* This is a simple webserver.
* Created November 1999 by J. David Blackstone.
* CSE 4344 (Network concepts), Prof. Zeigler
* University of Texas at Arlington
*/
/* This program compiles for Sparc Solaris 2.6.
* To compile for Linux:
* 1) Comment out the #include <pthread.h> line.
* 2) Comment out the line that defines the variable newthread.
* 3) Comment out the two lines that run pthread_create().
* 4) Uncomment the line that runs accept_request().
* 5) Remove -lsocket from the Makefile.
*/
#include <stdio.h>
#include <sys/socket.h>
#include <sys/types.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <ctype.h>
#include <strings.h>
#include <string.h>
#include <sys/stat.h>
#include <pthread.h>
#include <sys/wait.h>
#include <stdlib.h>
#define ISspace(x) isspace((int)(x))
#define SERVER_STRING "Server: jdbhttpd/0.1.0\r\n"
void accept_request(int);
void bad_request(int);
void cat(int, FILE *);
void cannot_execute(int);
void error_die(const char *);
void execute_cgi(int, const char *, const char *, const char *);
int get_line(int, char *, int);
void headers(int, const char *);
void not_found(int);
void serve_file(int, const char *);
int startup(u_short *);
void unimplemented(int);
/**********************************************************************/
/* A request has caused a call to accept() on the server port to
* return. Process the request appropriately.
* Parameters: the socket connected to the client */
/**********************************************************************/
void accept_request(int client)
{
char buf[1024];
int numchars;
char method[255];
char url[255];
char path[512];
size_t i, j;
struct stat st;
int cgi = 0; /* becomes true if server decides this is a CGI program */
char *query_string = NULL;
/*得到請求的第一行*/
numchars = get_line(client, buf, sizeof(buf));
i = 0; j = 0;
/*把客戶端的請求方法存到 method 數組*/
while (!ISspace(buf[j]) && (i < sizeof(method) - 1))
{
method[i] = buf[j];
i++; j++;
}
method[i] = '\0';
/*如果既不是 GET 又不是 POST 則無法處理 */
if (strcasecmp(method, "GET") && strcasecmp(method, "POST"))
{
unimplemented(client);
return;
}
/* POST 的時候開啓 cgi */
if (strcasecmp(method, "POST") == 0)
cgi = 1;
/*讀取 url 地址*/
i = 0;
while (ISspace(buf[j]) && (j < sizeof(buf)))
j++;
while (!ISspace(buf[j]) && (i < sizeof(url) - 1) && (j < sizeof(buf)))
{
/*存下 url */
url[i] = buf[j];
i++; j++;
}
url[i] = '\0';
/*處理 GET 方法*/
if (strcasecmp(method, "GET") == 0)
{
/* 待處理請求爲 url */
query_string = url;
while ((*query_string != '?') && (*query_string != '\0'))
query_string++;
/* GET 方法特點,? 後面爲參數*/
if (*query_string == '?')
{
/*開啓 cgi */
cgi = 1;
*query_string = '\0';
query_string++;
}
}
/*格式化 url 到 path 數組,html 文件都在 htdocs 中*/
sprintf(path, "htdocs%s", url);
/*默認情況爲 index.html */
if (path[strlen(path) - 1] == '/')
strcat(path, "index.html");
/*根據路徑找到對應文件 */
if (stat(path, &st) == -1) {
/*把所有 headers 的信息都丟棄*/
while ((numchars > 0) && strcmp("\n", buf)) /* read & discard headers */
numchars = get_line(client, buf, sizeof(buf));
/*迴應客戶端找不到*/
not_found(client);
}
else
{
/*如果是個目錄,則默認使用該目錄下 index.html 文件*/
if ((st.st_mode & S_IFMT) == S_IFDIR)
strcat(path, "/index.html");
if ((st.st_mode & S_IXUSR) || (st.st_mode & S_IXGRP) || (st.st_mode & S_IXOTH) )
cgi = 1;
/*不是 cgi,直接把服務器文件返回,否則執行 cgi */
if (!cgi)
serve_file(client, path);
else
execute_cgi(client, path, method, query_string);
}
/*斷開與客戶端的連接(HTTP 特點:無連接)*/
close(client);
}
/**********************************************************************/
/* Inform the client that a request it has made has a problem.
* Parameters: client socket */
/**********************************************************************/
void bad_request(int client)
{
char buf[1024];
/*迴應客戶端錯誤的 HTTP 請求 */
sprintf(buf, "HTTP/1.0 400 BAD REQUEST\r\n");
send(client, buf, sizeof(buf), 0);
sprintf(buf, "Content-type: text/html\r\n");
send(client, buf, sizeof(buf), 0);
sprintf(buf, "\r\n");
send(client, buf, sizeof(buf), 0);
sprintf(buf, "<P>Your browser sent a bad request, ");
send(client, buf, sizeof(buf), 0);
sprintf(buf, "such as a POST without a Content-Length.\r\n");
send(client, buf, sizeof(buf), 0);
}
/**********************************************************************/
/* Put the entire contents of a file out on a socket. This function
* is named after the UNIX "cat" command, because it might have been
* easier just to do something like pipe, fork, and exec("cat").
* Parameters: the client socket descriptor
* FILE pointer for the file to cat */
/**********************************************************************/
void cat(int client, FILE *resource)
{
char buf[1024];
/*讀取文件中的所有數據寫到 socket */
fgets(buf, sizeof(buf), resource);
while (!feof(resource))
{
send(client, buf, strlen(buf), 0);
fgets(buf, sizeof(buf), resource);
}
}
/**********************************************************************/
/* Inform the client that a CGI script could not be executed.
* Parameter: the client socket descriptor. */
/**********************************************************************/
void cannot_execute(int client)
{
char buf[1024];
/* 迴應客戶端 cgi 無法執行*/
sprintf(buf, "HTTP/1.0 500 Internal Server Error\r\n");
send(client, buf, strlen(buf), 0);
sprintf(buf, "Content-type: text/html\r\n");
send(client, buf, strlen(buf), 0);
sprintf(buf, "\r\n");
send(client, buf, strlen(buf), 0);
sprintf(buf, "<P>Error prohibited CGI execution.\r\n");
send(client, buf, strlen(buf), 0);
}
/**********************************************************************/
/* Print out an error message with perror() (for system errors; based
* on value of errno, which indicates system call errors) and exit the
* program indicating an error. */
/**********************************************************************/
void error_die(const char *sc)
{
/*出錯信息處理 */
perror(sc);
exit(1);
}
/**********************************************************************/
/* Execute a CGI script. Will need to set environment variables as
* appropriate.
* Parameters: client socket descriptor
* path to the CGI script */
/**********************************************************************/
void execute_cgi(int client, const char *path, const char *method, const char *query_string)
{
char buf[1024];
int cgi_output[2];
int cgi_input[2];
pid_t pid;
int status;
int i;
char c;
int numchars = 1;
int content_length = -1;
buf[0] = 'A'; buf[1] = '\0';
if (strcasecmp(method, "GET") == 0)
/*把所有的 HTTP header 讀取並丟棄*/
while ((numchars > 0) && strcmp("\n", buf)) /* read & discard headers */
numchars = get_line(client, buf, sizeof(buf));
else /* POST */
{
/* 對 POST 的 HTTP 請求中找出 content_length */
numchars = get_line(client, buf, sizeof(buf));
while ((numchars > 0) && strcmp("\n", buf))
{
/*利用 \0 進行分隔 */
buf[15] = '\0';
/* HTTP 請求的特點*/
if (strcasecmp(buf, "Content-Length:") == 0)
content_length = atoi(&(buf[16]));
numchars = get_line(client, buf, sizeof(buf));
}
/*沒有找到 content_length */
if (content_length == -1) {
/*錯誤請求*/
bad_request(client);
return;
}
}
/* 正確,HTTP 狀態碼 200 */
sprintf(buf, "HTTP/1.0 200 OK\r\n");
send(client, buf, strlen(buf), 0);
/* 建立管道*/
if (pipe(cgi_output) < 0) {
/*錯誤處理*/
cannot_execute(client);
return;
}
/*建立管道*/
if (pipe(cgi_input) < 0) {
/*錯誤處理*/
cannot_execute(client);
return;
}
if ((pid = fork()) < 0 ) {
/*錯誤處理*/
cannot_execute(client);
return;
}
if (pid == 0) /* child: CGI script */
{
char meth_env[255];
char query_env[255];
char length_env[255];
/* 把 STDOUT 重定向到 cgi_output 的寫入端 */
dup2(cgi_output[1], 1);
/* 把 STDIN 重定向到 cgi_input 的讀取端 */
dup2(cgi_input[0], 0);
/* 關閉 cgi_input 的寫入端 和 cgi_output 的讀取端 */
close(cgi_output[0]);
close(cgi_input[1]);
/*設置 request_method 的環境變量*/
sprintf(meth_env, "REQUEST_METHOD=%s", method);
putenv(meth_env);
if (strcasecmp(method, "GET") == 0) {
/*設置 query_string 的環境變量*/
sprintf(query_env, "QUERY_STRING=%s", query_string);
putenv(query_env);
}
else { /* POST */
/*設置 content_length 的環境變量*/
sprintf(length_env, "CONTENT_LENGTH=%d", content_length);
putenv(length_env);
}
/*用 execl 運行 cgi 程序*/
execl(path, path, NULL);
exit(0);
} else { /* parent */
/* 關閉 cgi_input 的讀取端 和 cgi_output 的寫入端 */
close(cgi_output[1]);
close(cgi_input[0]);
if (strcasecmp(method, "POST") == 0)
/*接收 POST 過來的數據*/
for (i = 0; i < content_length; i++) {
recv(client, &c, 1, 0);
/*把 POST 數據寫入 cgi_input,現在重定向到 STDIN */
write(cgi_input[1], &c, 1);
}
/*讀取 cgi_output 的管道輸出到客戶端,該管道輸入是 STDOUT */
while (read(cgi_output[0], &c, 1) > 0)
send(client, &c, 1, 0);
/*關閉管道*/
close(cgi_output[0]);
close(cgi_input[1]);
/*等待子進程*/
waitpid(pid, &status, 0);
}
}
/**********************************************************************/
/* Get a line from a socket, whether the line ends in a newline,
* carriage return, or a CRLF combination. Terminates the string read
* with a null character. If no newline indicator is found before the
* end of the buffer, the string is terminated with a null. If any of
* the above three line terminators is read, the last character of the
* string will be a linefeed and the string will be terminated with a
* null character.
* Parameters: the socket descriptor
* the buffer to save the data in
* the size of the buffer
* Returns: the number of bytes stored (excluding null) */
/**********************************************************************/
int get_line(int sock, char *buf, int size)
{
int i = 0;
char c = '\0';
int n;
/*把終止條件統一爲 \n 換行符,標準化 buf 數組*/
while ((i < size - 1) && (c != '\n'))
{
/*一次僅接收一個字節*/
n = recv(sock, &c, 1, 0);
/* DEBUG printf("%02X\n", c); */
if (n > 0)
{
/*收到 \r 則繼續接收下個字節,因爲換行符可能是 \r\n */
if (c == '\r')
{
/*使用 MSG_PEEK 標誌使下一次讀取依然可以得到這次讀取的內容,可認爲接收窗口不滑動*/
n = recv(sock, &c, 1, MSG_PEEK);
/* DEBUG printf("%02X\n", c); */
/*但如果是換行符則把它吸收掉*/
if ((n > 0) && (c == '\n'))
recv(sock, &c, 1, 0);
else
c = '\n';
}
/*存到緩衝區*/
buf[i] = c;
i++;
}
else
c = '\n';
}
buf[i] = '\0';
/*返回 buf 數組大小*/
return(i);
}
/**********************************************************************/
/* Return the informational HTTP headers about a file. */
/* Parameters: the socket to print the headers on
* the name of the file */
/**********************************************************************/
void headers(int client, const char *filename)
{
char buf[1024];
(void)filename; /* could use filename to determine file type */
/*正常的 HTTP header */
strcpy(buf, "HTTP/1.0 200 OK\r\n");
send(client, buf, strlen(buf), 0);
/*服務器信息*/
strcpy(buf, SERVER_STRING);
send(client, buf, strlen(buf), 0);
sprintf(buf, "Content-Type: text/html\r\n");
send(client, buf, strlen(buf), 0);
strcpy(buf, "\r\n");
send(client, buf, strlen(buf), 0);
}
/**********************************************************************/
/* Give a client a 404 not found status message. */
/**********************************************************************/
void not_found(int client)
{
char buf[1024];
/* 404 頁面 */
sprintf(buf, "HTTP/1.0 404 NOT FOUND\r\n");
send(client, buf, strlen(buf), 0);
/*服務器信息*/
sprintf(buf, SERVER_STRING);
send(client, buf, strlen(buf), 0);
sprintf(buf, "Content-Type: text/html\r\n");
send(client, buf, strlen(buf), 0);
sprintf(buf, "\r\n");
send(client, buf, strlen(buf), 0);
sprintf(buf, "<HTML><TITLE>Not Found</TITLE>\r\n");
send(client, buf, strlen(buf), 0);
sprintf(buf, "<BODY><P>The server could not fulfill\r\n");
send(client, buf, strlen(buf), 0);
sprintf(buf, "your request because the resource specified\r\n");
send(client, buf, strlen(buf), 0);
sprintf(buf, "is unavailable or nonexistent.\r\n");
send(client, buf, strlen(buf), 0);
sprintf(buf, "</BODY></HTML>\r\n");
send(client, buf, strlen(buf), 0);
}
/**********************************************************************/
/* Send a regular file to the client. Use headers, and report
* errors to client if they occur.
* Parameters: a pointer to a file structure produced from the socket
* file descriptor
* the name of the file to serve */
/**********************************************************************/
void serve_file(int client, const char *filename)
{
FILE *resource = NULL;
int numchars = 1;
char buf[1024];
/*讀取並丟棄 header */
buf[0] = 'A'; buf[1] = '\0';
while ((numchars > 0) && strcmp("\n", buf)) /* read & discard headers */
numchars = get_line(client, buf, sizeof(buf));
/*打開 sever 的文件*/
resource = fopen(filename, "r");
if (resource == NULL)
not_found(client);
else
{
/*寫 HTTP header */
headers(client, filename);
/*複製文件*/
cat(client, resource);
}
fclose(resource);
}
/**********************************************************************/
/* This function starts the process of listening for web connections
* on a specified port. If the port is 0, then dynamically allocate a
* port and modify the original port variable to reflect the actual
* port.
* Parameters: pointer to variable containing the port to connect on
* Returns: the socket */
/**********************************************************************/
int startup(u_short *port)
{
int httpd = 0;
struct sockaddr_in name;
/*建立 socket */
httpd = socket(PF_INET, SOCK_STREAM, 0);
if (httpd == -1)
error_die("socket");
memset(&name, 0, sizeof(name));
name.sin_family = AF_INET;
name.sin_port = htons(*port);
name.sin_addr.s_addr = htonl(INADDR_ANY);
if (bind(httpd, (struct sockaddr *)&name, sizeof(name)) < 0)
error_die("bind");
/*如果當前指定端口是 0,則動態隨機分配一個端口*/
if (*port == 0) /* if dynamically allocating a port */
{
int namelen = sizeof(name);
if (getsockname(httpd, (struct sockaddr *)&name, &namelen) == -1)
error_die("getsockname");
*port = ntohs(name.sin_port);
}
/*開始監聽*/
if (listen(httpd, 5) < 0)
error_die("listen");
/*返回 socket id */
return(httpd);
}
/**********************************************************************/
/* Inform the client that the requested web method has not been
* implemented.
* Parameter: the client socket */
/**********************************************************************/
void unimplemented(int client)
{
char buf[1024];
/* HTTP method 不被支持*/
sprintf(buf, "HTTP/1.0 501 Method Not Implemented\r\n");
send(client, buf, strlen(buf), 0);
/*服務器信息*/
sprintf(buf, SERVER_STRING);
send(client, buf, strlen(buf), 0);
sprintf(buf, "Content-Type: text/html\r\n");
send(client, buf, strlen(buf), 0);
sprintf(buf, "\r\n");
send(client, buf, strlen(buf), 0);
sprintf(buf, "<HTML><HEAD><TITLE>Method Not Implemented\r\n");
send(client, buf, strlen(buf), 0);
sprintf(buf, "</TITLE></HEAD>\r\n");
send(client, buf, strlen(buf), 0);
sprintf(buf, "<BODY><P>HTTP request method not supported.\r\n");
send(client, buf, strlen(buf), 0);
sprintf(buf, "</BODY></HTML>\r\n");
send(client, buf, strlen(buf), 0);
}
/**********************************************************************/
int main(void)
{
int server_sock = -1;
u_short port = 0;
int client_sock = -1;
struct sockaddr_in client_name;
int client_name_len = sizeof(client_name);
pthread_t newthread;
/*在對應端口建立 httpd 服務*/
server_sock = startup(&port);
printf("httpd running on port %d\n", port);
while (1)
{
/*套接字收到客戶端連接請求*/
client_sock = accept(server_sock,(struct sockaddr *)&client_name,&client_name_len);
if (client_sock == -1)
error_die("accept");
/*派生新線程用 accept_request 函數處理新請求*/
/* accept_request(client_sock); */
if (pthread_create(&newthread , NULL, accept_request, client_sock) != 0)
perror("pthread_create");
}
close(server_sock);
return(0);
}
編譯運行
這裏我們如何讓這個服務器跑起來呢?看評論區應該不少人遇到問題,這裏我簡單說下。
首先,需要修改 Makefile 文件,如果直接執行 make 的話,你會遇到這個錯誤:cannot find -lsocket。解決方法簡單說就是在 linux 系統中沒有這樣一個庫,而且這個庫在 linux 中的實現位於 libc 中,編譯時被默認包含,所以可以直接在 Makefile 中去掉 -lsocket。詳見:stackoverflow
另外,在 htdocs 文件下,有 cgi 的程序和 html 代碼,cgi 是用 perl 寫的,但文件中聲明的 perl 執行程序位置在我這是錯的,我這裏 perl 腳本位於 /usr/bin 中(用 which perl 可以查看),所以把 cgi 文件中的第一行改爲:
#!/usr/bin/perl -Tw
現在都沒問題了。mkae 編譯後,用 ./httpd 運行,在瀏覽器中輸入 127.0.0.1:端口,就可以看到網頁了: