Tornado 运行和部署
由于 Tornado 提供了自己的 HTTPServer,因此运行和部署它与其他 Python Web 框架略有不同。 您无需配置 WSGI 容器来查找您的应用程序,而是编写一个启动服务器的 main()
函数:
def main():
app = make_app()
app.listen(8888)
IOLoop.current().start()
if __name__ == '__main__':
main()
配置您的操作系统或进程管理器以运行此程序以启动服务器。 请注意,可能需要增加每个进程的打开文件数(以避免“打开文件过多”-错误)。 要提高此限制(例如将其设置为 50000),您可以使用 ulimit
命令,修改 /etc/security/limits.conf
或在您的 supervisord 配置中设置 minfds
。
进程和端口
由于 Python GIL(全局解释器锁),需要运行多个 Python 进程才能充分利用多 CPU 机器。 通常最好每个 CPU 运行一个进程。
Tornado 包含一个内置的多进程模式,可以同时启动多个进程(请注意,多进程模式在 Windows 上不起作用)。 这需要对标准的 main 函数稍作改动:
def main():
app = make_app()
server = tornado.httpserver.HTTPServer(app)
server.bind(8888)
server.start(0) # forks one process per cpu
IOLoop.current().start()
这是启动多个进程并让它们都共享同一个端口的最简单方法,尽管它有一些限制。 首先,每个子进程都有自己的 IOLoop
,因此在分叉之前没有任何东西(甚至间接地)触及全局 IOLoop
实例是很重要的。 其次,在这种模式下很难做到零停机更新。 最后,由于所有进程共享同一个端口,因此单独监控它们更加困难。
对于更复杂的部署,建议独立启动进程,并让每个进程监听不同的端口。 supervisord 的“进程组”特性是一种很好的安排方式。 当每个进程使用不同的端口时,通常需要外部负载均衡器(例如 HAProxy 或 nginx)来向外部访问者呈现单个地址。
在负载均衡器后面运行
在像 nginx 这样的负载均衡器后面运行时,建议将 xheaders=True
传递给 HTTPServer 构造函数。 这将告诉 Tornado 使用 X-Real-IP
之类的标头来获取用户的 IP 地址,而不是将所有流量归因于平衡器的 IP 地址。
这是一个准系统 nginx 配置文件,其结构类似于我们在 FriendFeed 使用的配置文件。 它假设 nginx 和 Tornado 服务器运行在同一台机器上,并且四个 Tornado 服务器运行在端口 8000 - 8003 上:
user nginx;
worker_processes 1;
error_log /var/log/nginx/error.log;
pid /var/run/nginx.pid;
events {
worker_connections 1024;
use epoll;
}
http {
# Enumerate all the Tornado servers here
upstream frontends {
server 127.0.0.1:8000;
server 127.0.0.1:8001;
server 127.0.0.1:8002;
server 127.0.0.1:8003;
}
include /etc/nginx/mime.types;
default_type application/octet-stream;
access_log /var/log/nginx/access.log;
keepalive_timeout 65;
proxy_read_timeout 200;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
gzip on;
gzip_min_length 1000;
gzip_proxied any;
gzip_types text/plain text/html text/css text/xml
application/x-javascript application/xml
application/atom+xml text/javascript;
# Only retry if there was a communication error, not a timeout
# on the Tornado server (to avoid propagating "queries of death"
# to all frontends)
proxy_next_upstream error;
server {
listen 80;
# Allow file uploads
client_max_body_size 50M;
location ^~ /static/ {
root /var/www;
if ($query_string) {
expires max;
}
}
location = /favicon.ico {
rewrite (.*) /static/favicon.ico;
}
location = /robots.txt {
rewrite (.*) /static/robots.txt;
}
location / {
proxy_pass_header Server;
proxy_set_header Host $http_host;
proxy_redirect off;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Scheme $scheme;
proxy_pass http://frontends;
}
}
}
静态文件和文件缓存
您可以通过在应用程序中指定 static_path
设置从 Tornado 提供静态文件:
settings = {
"static_path": os.path.join(os.path.dirname(__file__), "static"),
"cookie_secret": "__TODO:_GENERATE_YOUR_OWN_RANDOM_VALUE_HERE__",
"login_url": "/login",
"xsrf_cookies": True,
}
application = tornado.web.Application([
(r"/", MainHandler),
(r"/login", LoginHandler),
(r"/(apple-touch-icon\.png)", tornado.web.StaticFileHandler,
dict(path=settings['static_path'])),
], **settings)
此设置将自动使所有以 /static/
开头的请求都从该静态目录提供服务,例如 http://localhost:8888/static/foo.png
将从指定的静态目录提供文件 foo.png
。 我们还自动从静态目录提供 /robots.txt
和 /favicon.ico
(即使它们不以 /static/
前缀开头)。
在上述设置中,我们明确配置 Tornado 以使用 StaticFileHandler 从根目录提供 apple-touch-icon.png
,尽管它在物理上位于静态文件目录中。 (该正则表达式中的捕获组对于告诉 StaticFileHandler 请求的文件名是必要的;回想一下,捕获组作为方法参数传递给处理程序。)您可以做同样的事情来服务,例如 sitemap.xml
来自站点根目录。 当然,您也可以通过在 HTML 中使用适当的 <link />
标签来避免伪造根 apple-touch-icon.png
。
为了提高性能,浏览器积极缓存静态资源通常是一个好主意,这样浏览器就不会发送可能会阻塞页面呈现的不必要的 If-Modified-Since
或 Etag
请求。 Tornado 开箱即用地支持静态内容版本控制
要使用此功能,请在模板中使用 static_url 方法,而不是直接在 HTML 中键入静态文件的 URL:
<html>
<head>
<title>FriendFeed - {{ _("Home") }}</title>
</head>
<body>
<div><img src="{{ static_url("images/logo.png") }}"/></div>
</body>
</html>
static_url()
函数将该相对路径转换为类似于 /static/images/logo.png?v=aae54
的 URI。 v
参数是 logo.png
中内容的哈希值,它的存在使 Tornado 服务器向用户的浏览器发送缓存表头,这将使浏览器无限期地缓存内容。
由于 v
参数基于文件的内容,如果您更新文件并重新启动服务器,它将开始发送新的 v
值,因此用户的浏览器将自动获取新文件。 如果文件的内容没有改变,浏览器将继续使用本地缓存的副本,而无需检查服务器上的更新,从而显着提高渲染性能。
在生产中,您可能希望从静态文件服务器(如 nginx)提供静态文件。 您可以配置任何 Web 服务器以识别 static_url()
使用的版本标签并相应地设置缓存表头。 这是我们在 FriendFeed 使用的 nginx 配置的相关部分:
location /static/ {
root /var/friendfeed/static;
if ($query_string) {
expires max;
}
}
调试模式和自动重新加载
如果将 debug=True
传递给 Application
构造函数,则应用程序将以调试/开发模式运行。 在此模式下,将启用几个旨在方便开发的功能(每个功能也可作为单独的标志使用;如果同时指定了单独的标志):
-
autoreload=True
:应用程序将监视其源文件的更改,并在任何更改时重新加载。 这减少了在开发过程中手动重新启动服务器的需要。 但是,某些故障(例如导入时的语法错误)仍然会以调试模式当前无法恢复的方式使服务器停机。 -
compiled_template_cache=False
:模板不会被缓存。 -
static_hash_cache=False
:静态文件哈希(由 static_url
函数使用)不会被缓存。 -
serve_traceback=True
:当 RequestHandler 中的异常未被捕获时,将生成包含堆栈跟踪的错误页面。
Autoreload 模式与 HTTPServer 的多进程模式不兼容。 如果您使用自动重载模式,则不能给 HTTPServer.start 提供 1 以外的参数(或调用 tornado.process.fork_processes)。
调试模式的自动重新加载功能在 tornado.autoreload 中作为独立模块提供。 两者可以结合使用以提供针对语法错误的额外鲁棒性:在应用程序中设置 autoreload=True
以在其运行时检测更改,并使用 python -m tornado.autoreload myserver.py
启动它以捕获任何语法错误或其他 启动时出错。
重新加载会丢失任何 Python 解释器命令行参数(例如 -u
),因为它使用 sys.executable 和 sys.argv 重新执行 Python。 此外,修改这些变量将导致重新加载行为不正确。
在某些平台上(包括 10.6 之前的 Windows 和 Mac OSX),进程无法“就地”更新,因此当检测到代码更改时,旧服务器退出并启动新服务器。 众所周知,这会使一些 IDE 感到困惑。
更多建议: