自己動手開發一個 Web 服務器（二）

在《自己動手開發一個 Web 服務器（一）》中，我給大家留了一個問題：如何在不對服務器代碼作任何修改的情況下，通過該服務器運行Djando應用、Flask應用和Pyramid應用，同時滿足這些不同網絡框架的要求？讀完這篇文章，你就可以回答這個問題了。

以前，你選擇的Python網絡框架將會限制所能夠使用的 Web 服務器，反之亦然。如果框架和服務器在設計時就是可以相互匹配的，那你就不會面臨這個問題：

服務器與框架是否匹配

但是如果你試圖將設計不相匹配的服務器與框架相結合，那麼你肯定就會碰到下面這張圖所展示的這個問題：

服務器與框架之間衝突

這就意味着，你基本上只能使用能夠正常運行的服務器與框架組合，而不能選擇你希望使用的服務器或框架。

那麼，你怎樣確保可以在不修改 Web 服務器代碼或網絡框架代碼的前提下，使用自己選擇的服務器，並且匹配多個不同的網絡框架呢？爲了解決這個問題，就出現了Python Web 服務器網關接口（Web Server Gateway Interface，WSGI）。

WSGI接口

WSGI的出現，讓開發者可以將網絡框架與 Web 服務器的選擇分隔開來，不再相互限制。現在，你可以真正地將不同的 Web 服務器與網絡開發框架進行混合搭配，選擇滿足自己需求的組合。例如，你可以使用Gunicorn或Nginx/uWSGI或Waitress服務器來運行Django、Flask或Pyramid應用。正是由於服務器和框架均支持WSGI，才真正得以實現二者之間的自由混合搭配。

所以，WSGI就是我在上一篇文章中所留問題的答案。你的 Web 服務器必須實現一個服務器端的WSGI接口，而目前所有現代Python網絡框架都已經實現了框架端的WSGI接口，這樣開發者不需要修改服務器的代碼，就可以支持某個網絡框架。

Web 服務器和網絡框架支持WSGI協議，不僅讓應用開發者選擇符合自己需求的組合，同時也有利於服務器和框架的開發者，因爲他們可以將注意力集中在自己擅長的領域，而不是相互傾軋。其他編程語言也擁有類似的接口：例如Java的Servlet API和Ruby的Rack。

口說無憑，我猜你肯定在想：“無代碼無真相！”既然如此，我就在這裏給出一個非常簡單的WSGI服務器實現：

1. # Tested with Python 2.7.9, Linux & Mac OS X
2. import socket
3. import StringIO
4. import sys
7. class WSGIServer(object):
9. address_family = socket.AF_INET
10. socket_type = socket.SOCK_STREAM
11. request_queue_size = 1
13. def __init__(self, server_address):
14. # Create a listening socket
15. self.listen_socket = listen_socket = socket.socket(
16. self.address_family,
17. self.socket_type
18. )
19. # Allow to reuse the same address
20. listen_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
21. # Bind
22. listen_socket.bind(server_address)
23. # Activate
24. listen_socket.listen(self.request_queue_size)
25. # Get server host name and port
26. host, port = self.listen_socket.getsockname()[:2]
27. self.server_name = socket.getfqdn(host)
28. self.server_port = port
29. # Return headers set by Web framework/Web application
30. self.headers_set = []
32. def set_app(self, application):
33. self.application = application
35. def serve_forever(self):
36. listen_socket = self.listen_socket
37. while True:
38. # New client connection
39. self.client_connection, client_address = listen_socket.accept()
40. # Handle one request and close the client connection. Then
41. # loop over to wait for another client connection
42. self.handle_one_request()
44. def handle_one_request(self):
45. self.request_data = request_data = self.client_connection.recv(1024)
46. # Print formatted request data a la 'curl -v'
47. print(''.join(
48. '< {line}\n'.format(line=line)
49. for line in request_data.splitlines()
50. ))
52. self.parse_request(request_data)
54. # Construct environment dictionary using request data
55. env = self.get_environ()
57. # It's time to call our application callable and get
58. # back a result that will become HTTP response body
59. result = self.application(env, self.start_response)
61. # Construct a response and send it back to the client
62. self.finish_response(result)
64. def parse_request(self, text):
65. request_line = text.splitlines()[0]
66. request_line = request_line.rstrip('\r\n')
67. # Break down the request line into components
68. (self.request_method, # GET
69. self.path, # /hello
70. self.request_version # HTTP/1.1
71. ) = request_line.split()
73. def get_environ(self):
74. env = {}
75. # The following code snippet does not follow PEP8 conventions
76. # but it's formatted the way it is for demonstration purposes
77. # to emphasize the required variables and their values
78. #
79. # Required WSGI variables
80. env['wsgi.version'] = (1, 0)
81. env['wsgi.url_scheme'] = 'http'
82. env['wsgi.input'] = StringIO.StringIO(self.request_data)
83. env['wsgi.errors'] = sys.stderr
84. env['wsgi.multithread'] = False
85. env['wsgi.multiprocess'] = False
86. env['wsgi.run_once'] = False
87. # Required CGI variables
88. env['REQUEST_METHOD'] = self.request_method # GET
89. env['PATH_INFO'] = self.path # /hello
90. env['SERVER_NAME'] = self.server_name # localhost
91. env['SERVER_PORT'] = str(self.server_port) # 8888
92. return env
94. def start_response(self, status, response_headers, exc_info=None):
95. # Add necessary server headers
96. server_headers = [
97. ('Date', 'Tue, 31 Mar 2015 12:54:48 GMT'),
98. ('Server', 'WSGIServer 0.2'),
99. ]
100. self.headers_set = [status, response_headers + server_headers]
101. # To adhere to WSGI specification the start_response must return
102. # a 'write' callable. We simplicity's sake we'll ignore that detail
103. # for now.
104. # return self.finish_response
106. def finish_response(self, result):
107. try:
108. status, response_headers = self.headers_set
109. response = 'HTTP/1.1 {status}\r\n'.format(status=status)
110. for header in response_headers:
111. response += '{0}: {1}\r\n'.format(*header)
112. response += '\r\n'
113. for data in result:
114. response += data
115. # Print formatted response data a la 'curl -v'
116. print(''.join(
117. '> {line}\n'.format(line=line)
118. for line in response.splitlines()
119. ))
120. self.client_connection.sendall(response)
121. finally:
122. self.client_connection.close()
125. SERVER_ADDRESS = (HOST, PORT) = '', 8888
128. def make_server(server_address, application):
129. server = WSGIServer(server_address)
130. server.set_app(application)
131. return server
134. if __name__ == '__main__':
135. if len(sys.argv) < 2:
136. sys.exit('Provide a WSGI application object as module:callable')
137. app_path = sys.argv[1]
138. module, application = app_path.split(':')
139. module = __import__(module)
140. application = getattr(module, application)
141. httpd = make_server(SERVER_ADDRESS, application)
142. print('WSGIServer: Serving HTTP on port {port} ...\n'.format(port=PORT))
143. httpd.serve_forever()

上面的代碼比第一部分的服務器實現代碼要長的多，但是這些代碼實際也不算太長，只有不到150行，大家理解起來並不會太困難。上面這個服務器的功能也更多——它可以運行你使用自己喜歡的框架所寫出來的網絡應用，無論你選擇Pyramid、Flask、Django或是其他支持WSGI協議的框架。

你不信？你可以自己測試一下，看看結果如何。將上述代碼保存爲webserver2.py，或者直接從我的Github倉庫下載。如果你運行該文件時沒有提供任何參數，那麼程序就會報錯並退出。

1. $ python webserver2.py
2. Provide a WSGI application object as module:callable

上述程序設計的目的，就是運行你開發的網絡應用，但是你還需要滿足一些它的要求。要運行服務器，你只需要安裝Python即可。但是要運行使用Pyramid、Flask和Django等框架開發的網絡應用，你還需要先安裝這些框架。我們接下來安裝這三種框架。我傾向於使用virtualenv安裝。請按照下面的提示創建並激活一個虛擬環境，然後安裝這三個網絡框架。

1. $ [sudo] pip install virtualenv
2. $ mkdir ~/envs
3. $ virtualenv ~/envs/lsbaws/
4. $ cd ~/envs/lsbaws/
5. $ ls
6. bin include lib
7. $ source bin/activate
8. (lsbaws) $ pip install pyramid
9. (lsbaws) $ pip install flask
10. (lsbaws) $ pip install django

接下來，你需要創建一個網絡應用。我們首先創建Pyramid應用。將下面的代碼保存爲pyramidapp.py文件，放至webserver2.py所在的文件夾中，或者直接從我的Github倉庫下載該文件：

1. from pyramid.config import Configurator
2. from pyramid.response import Response
5. def hello_world(request):
6. return Response(
7. 'Hello world from Pyramid!\n',
8. content_type='text/plain',
9. )
11. config = Configurator()
12. config.add_route('hello', '/hello')
13. config.add_view(hello_world, route_name='hello')
14. app = config.make_wsgi_app()

現在，你可以通過自己開發的 Web 服務器來啓動上面的Pyramid應用。

1. (lsbaws) $ python webserver2.py pyramidapp:app
2. WSGIServer: Serving HTTP on port 8888 ...

在運行webserver2.py時，你告訴自己的服務器去加載pyramidapp模塊中的app可調用對象（callable）。你的服務器現在可以接收HTTP請求，並將請求中轉至你的Pyramid應用。應用目前只能處理一個路由（route）：/hello。在瀏覽器的地址欄輸入http://localhost:8888/hello，按下回車鍵，觀察會出現什麼情況：

Pyramid應用運行情況

你還可以在命令行使用curl命令，來測試服務器運行情況：

1. $ curl -v http://localhost:8888/hello
2. ...

接下來我們創建Flask應用。重複上面的步驟。

1. from flask import Flask
2. from flask import Response
3. flask_app = Flask('flaskapp')
6. @flask_app.route('/hello')
7. def hello_world():
8. return Response(
9. 'Hello world from Flask!\n',
10. mimetype='text/plain'
11. )
13. app = flask_app.wsgi_app

將上面的代碼保存爲flaskapp.py，或者直接從我的Github倉庫下載文件，並運行：

1. (lsbaws) $ python webserver2.py flaskapp:app
2. WSGIServer: Serving HTTP on port 8888 ...

然後在瀏覽器地址欄輸入http://localhost:8888/hello，並按下回車：

Flask應用運行情況

同樣，在命令行使用curl命令，看看服務器是否會返回Flask應用生成的信息：

1. $ curl -v http://localhost:8888/hello
2. ...

這個服務器是不是也能支持Django應用？試一試就知道了！不過接下來的操作更爲複雜一些，我建議大家克隆整個倉庫，並使用其中的djangoapp.py文件。下面的代碼將一個名叫helloworld的Django應用添加至當前的Python路徑中，然後導入了該項目的WSGI應用。

1. import sys
2. sys.path.insert(0, './helloworld')
3. from helloworld import wsgi
6. app = wsgi.application

將上面的代碼保存爲djangoapp.py，並使用你開發的服務器運行這個Django應用。

1. (lsbaws) $ python webserver2.py djangoapp:app
2. WSGIServer: Serving HTTP on port 8888 ...

同樣，在瀏覽器中輸入http://localhost:8888/hello，並按下回車鍵：

Django應用的運行情況

接下來，和前面幾次一樣，你通過命令行使用curl命令進行測試，確認了這個Djando應用成功處理了你發出的請求：

1. $ curl -v http://localhost:8888/hello
2. ...

你有沒有按照上面的步驟測試？你做到了讓服務器支持全部三種框架嗎？如果沒有，請儘量自己動手操作。閱讀代碼很重要，但這系列文章的目的在於重新開發，而這意味着你需要自己親自動手。最好是你自己重新輸入所有的代碼，並確保代碼運行結果符合預期。

經過上面的介紹，你應該已經認識到了WSGI的強大之處：它可以讓你自由混合搭配 Web 服務器和框架。WSGI爲Python Web 服務器與Python網絡框架之間的交互提供了一個極簡的接口，而且非常容易在服務器端和框架端實現。下面的代碼段分別展示了服務器端和框架端的WSGI接口：

1. def run_application(application):
2. """Server code."""
3. # This is where an application/framework stores
4. # an HTTP status and HTTP response headers for the server
5. # to transmit to the client
6. headers_set = []
7. # Environment dictionary with WSGI/CGI variables
8. environ = {}
10. def start_response(status, response_headers, exc_info=None):
11. headers_set[:] = [status, response_headers]
13. # Server invokes the ‘application' callable and gets back the
14. # response body
15. result = application(environ, start_response)
16. # Server builds an HTTP response and transmits it to the client
17. …
19. def app(environ, start_response):
20. """A barebones WSGI app."""
21. start_response('200 OK', [('Content-Type', 'text/plain')])
22. return ['Hello world!']
24. run_application(app)

下面給大家解釋一下上述代碼的工作原理：

1. 網絡框架提供一個命名爲application的可調用對象（WSGI協議並沒有指定如何實現這個對象）。
2. 服務器每次從HTTP客戶端接收請求之後，調用application。它會向可調用對象傳遞一個名叫environ的字典作爲參數，其中包含了WSGI/CGI的諸多變量，以及一個名爲start_response的可調用對象。
3. 框架/應用生成HTTP狀態碼以及HTTP響應報頭（response headers），然後將二者傳遞至start_response，等待服務器保存。此外，框架/應用還將返回響應的正文。
4. 服務器將狀態碼、響應報頭和響應正文組合成HTTP響應，並返回給客戶端（這一步並不屬於WSGI協議）。

下面這張圖直觀地說明了WSGI接口的情況：

WSGI接口

有一點要提醒大家，當你使用上述框架開發網絡應用的時候，你處理的是更高層級的邏輯，並不會直接處理WSGI協議相關的要求，但是我很清楚，既然你正在看這篇文章，你一定對框架端的WSGI接口很感興趣。所以，我們接下來在不使用Pyramid、Flask或Djando框架的前提下，自己開發一個極簡的WSGI網絡應用/網絡框架，並使用WSGI服務器運行該應用：

1. def app(environ, start_response):
2. """A barebones WSGI application.
4. This is a starting point for your own Web framework :)
5. """
6. status = '200 OK'
7. response_headers = [('Content-Type', 'text/plain')]
8. start_response(status, response_headers)
9. return ['Hello world from a simple WSGI application!\n']

將上述代碼保存爲wsgiapp.py文件，或者直接從我的Github倉庫下載，然後利用 Web 服務器運行該應用：

1. (lsbaws) $ python webserver2.py wsgiapp:app
2. WSGIServer: Serving HTTP on port 8888 ...

在瀏覽器中輸入下圖中的地址，然後按回車鍵。結果應該是這樣的：

簡單的WSGI應用

你剛剛自己編寫了一個極簡的WSGI網絡框架！太不可思議了。

接下來，我們重新分析服務器返回給客戶端的對象。下面這張圖展示的是你通過HTTP客戶端調用Pyramid應用後，服務器生成的HTTP響應：

HTTP響應對象

上圖中的響應與你在第一篇中看到的有些類似，但是也有明顯不同之處。舉個例子，其中就出現了你之前沒有看到過的4個HTTP報頭：Content-Type，Content-Length，Date和Server。這些事 Web 服務器返回的響應對象通常都會包含的報頭。不過，這四個都不是必須的。報頭的目的是傳遞有關HTTP請求/響應的額外信息。

既然你已經對WSGI接口有了更深的理解，下面這張圖對響應對象的內容進行了更詳細的解釋，說明了每條內容是如何產生的。

HTTP響應對象2

到目前爲止，我還沒有介紹過environ字典的具體內容，但簡單來說，它是一個必須包含着WSGI協議所指定的某些WSGI和CGI變量。服務器從HTTP請求中獲取字典所需的值。下面這張圖展示的是字典的詳細內容：

Environ字典的詳細內容

網絡框架通過該字典提供的信息，根據指定的路由和請求方法等參數來決定使用哪個視圖（views），從哪裏讀取請求正文，以及如何輸出錯誤信息。

截至目前，你已經成功創建了自己的支持WSGI協議的 Web 服務器，還利用不同的網絡框架開發了多個網絡應用。另外，你還自己開發了一個極簡的網絡框架。本文介紹的內容不可謂不豐富。我們接下來回顧一下WSGI Web 服務器如何處理HTTP請求：

• 首先，服務器啓動並加載網絡框架/應用提供的application可調用對象
• 然後，服務器讀取一個請求信息
• 然後，服務器對請求進行解析
• 然後，服務器使用請求數據創建一個名叫environ的字典
• 然後，服務器以environ字典和start_response可調用對象作爲參數，調用application，並獲得應用生成的響應正文。
• 然後，服務器根據調用application對象後返回的數據，以及start_response設置的狀態碼和響應標頭，構建一個HTTP響應。
• 最後，服務器將HTTP響應返回至客戶端。

服務器工作原理梳理

以上就是第二部分的所有內容。你現在已經擁有了一個正常運行的WSGI服務器，可以支持通過遵守WSGI協議的網絡框架所寫的網絡應用。最棒的是，這個服務器可以不需要作任何代碼修改，就可以與多個網絡框架配合使用。

最後，我再給大家留一道思考題：怎樣讓服務器一次處理多個請求？