Tornado 运行和部署

2022-03-08 10:40 更新

由于 Tornado 提供了自己的 HTTPServer,因此运行和部署它与其他 Python Web 框架略有不同。 您无需配置 WSGI 容器来查找您的应用程序,而是编写一个启动服务器的 ​main() ​函数:

def main():
    app = make_app()
    app.listen(8888)
    IOLoop.current().start()

if __name__ == '__main__':
    main()

配置您的操作系统或进程管理器以运行此程序以启动服务器。 请注意,可能需要增加每个进程的打开文件数(以避免“打开文件过多”-错误)。 要提高此限制(例如将其设置为 50000),您可以使用 ​ulimit ​命令,修改 ​/etc/security/limits.conf​ 或在您的 supervisord 配置中设置 ​minfds​。

进程和端口

由于 Python GIL(全局解释器锁),需要运行多个 Python 进程才能充分利用多 CPU 机器。 通常最好每个 CPU 运行一个进程。

Tornado 包含一个内置的多进程模式,可以同时启动多个进程(请注意,多进程模式在 Windows 上不起作用)。 这需要对标准的 main 函数稍作改动:

def main():
    app = make_app()
    server = tornado.httpserver.HTTPServer(app)
    server.bind(8888)
    server.start(0)  # forks one process per cpu
    IOLoop.current().start()

这是启动多个进程并让它们都共享同一个端口的最简单方法,尽管它有一些限制。 首先,每个子进程都有自己的 ​IOLoop​,因此在分叉之前没有任何东西(甚至间接地)触及全局 ​IOLoop ​实例是很重要的。 其次,在这种模式下很难做到零停机更新。 最后,由于所有进程共享同一个端口,因此单独监控它们更加困难。

对于更复杂的部署,建议独立启动进程,并让每个进程监听不同的端口。 supervisord 的“进程组”特性是一种很好的安排方式。 当每个进程使用不同的端口时,通常需要外部负载均衡器(例如 HAProxy 或 nginx)来向外部访问者呈现单个地址。

在负载均衡器后面运行

在像 nginx 这样的负载均衡器后面运行时,建议将 ​xheaders=True​ 传递给 HTTPServer 构造函数。 这将告诉 Tornado 使用 ​X-Real-IP​ 之类的标头来获取用户的 IP 地址,而不是将所有流量归因于平衡器的 IP 地址。

这是一个准系统 nginx 配置文件,其结构类似于我们在 FriendFeed 使用的配置文件。 它假设 nginx 和 Tornado 服务器运行在同一台机器上,并且四个 Tornado 服务器运行在端口 8000 - 8003 上:

user nginx;
worker_processes 1;

error_log /var/log/nginx/error.log;
pid /var/run/nginx.pid;

events {
    worker_connections 1024;
    use epoll;
}

http {
    # Enumerate all the Tornado servers here
    upstream frontends {
        server 127.0.0.1:8000;
        server 127.0.0.1:8001;
        server 127.0.0.1:8002;
        server 127.0.0.1:8003;
    }

    include /etc/nginx/mime.types;
    default_type application/octet-stream;

    access_log /var/log/nginx/access.log;

    keepalive_timeout 65;
    proxy_read_timeout 200;
    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
    gzip on;
    gzip_min_length 1000;
    gzip_proxied any;
    gzip_types text/plain text/html text/css text/xml
               application/x-javascript application/xml
               application/atom+xml text/javascript;

    # Only retry if there was a communication error, not a timeout
    # on the Tornado server (to avoid propagating "queries of death"
    # to all frontends)
    proxy_next_upstream error;

    server {
        listen 80;

        # Allow file uploads
        client_max_body_size 50M;

        location ^~ /static/ {
            root /var/www;
            if ($query_string) {
                expires max;
            }
        }
        location = /favicon.ico {
            rewrite (.*) /static/favicon.ico;
        }
        location = /robots.txt {
            rewrite (.*) /static/robots.txt;
        }

        location / {
            proxy_pass_header Server;
            proxy_set_header Host $http_host;
            proxy_redirect off;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Scheme $scheme;
            proxy_pass http://frontends;
        }
    }
}

静态文件和文件缓存

您可以通过在应用程序中指定 ​static_path​ 设置从 Tornado 提供静态文件:

settings = {
    "static_path": os.path.join(os.path.dirname(__file__), "static"),
    "cookie_secret": "__TODO:_GENERATE_YOUR_OWN_RANDOM_VALUE_HERE__",
    "login_url": "/login",
    "xsrf_cookies": True,
}
application = tornado.web.Application([
    (r"/", MainHandler),
    (r"/login", LoginHandler),
    (r"/(apple-touch-icon\.png)", tornado.web.StaticFileHandler,
     dict(path=settings['static_path'])),
], **settings)

此设置将自动使所有以 ​/static/ ​开头的请求都从该静态目录提供服务,例如 ​http://localhost:8888/static/foo.png​ 将从指定的静态目录提供文件 ​foo.png​。 我们还自动从静态目录提供 ​/robots.txt​ 和 ​/favicon.ico​(即使它们不以 ​/static/​ 前缀开头)。

在上述设置中,我们明确配置 Tornado 以使用 StaticFileHandler 从根目录提供 ​apple-touch-icon.png​,尽管它在物理上位于静态文件目录中。 (该正则表达式中的捕获组对于告诉 StaticFileHandler 请求的文件名是必要的;回想一下,捕获组作为方法参数传递给处理程序。)您可以做同样的事情来服务,例如 ​sitemap.xml​ 来自站点根目录。 当然,您也可以通过在 HTML 中使用适当的 ​<link />​ 标签来避免伪造根 ​apple-touch-icon.png​。

为了提高性能,浏览器积极缓存静态资源通常是一个好主意,这样浏览器就不会发送可能会阻塞页面呈现的不必要的 ​If-Modified-Since​ 或 ​Etag​ 请求。 Tornado 开箱即用地支持静态内容版本控制

要使用此功能,请在模板中使用 static_url 方法,而不是直接在 HTML 中键入静态文件的 URL:

<html>
   <head>
      <title>FriendFeed - {{ _("Home") }}</title>
   </head>
   <body>
     <div><img src="{{ static_url("images/logo.png") }}"/></div>
   </body>
 </html>

static_url() ​函数将该相对路径转换为类似于 ​/static/images/logo.png?v=aae54​ 的 URI。 ​​参数是 ​logo.png​ 中内容的哈希值,它的存在使 Tornado 服务器向用户的浏览器发送缓存表头,这将使浏览器无限期地缓存内容。

由于 ​v​ 参数基于文件的内容,如果您更新文件并重新启动服务器,它将开始发送新的 ​v​ 值,因此用户的浏览器将自动获取新文件。 如果文件的内容没有改变,浏览器将继续使用本地缓存的副本,而无需检查服务器上的更新,从而显着提高渲染性能。

在生产中,您可能希望从静态文件服务器(如 nginx)提供静态文件。 您可以配置任何 Web 服务器以识别 ​static_url()​ 使用的版本标签并相应地设置缓存表头。 这是我们在 FriendFeed 使用的 nginx 配置的相关部分:

location /static/ {
    root /var/friendfeed/static;
    if ($query_string) {
        expires max;
    }
 }

调试模式和自动重新加载

如果将 ​debug=True​ 传递给 ​Application ​构造函数,则应用程序将以调试/开发模式运行。 在此模式下,将启用几个旨在方便开发的功能(每个功能也可作为单独的标志使用;如果同时指定了单独的标志):

  • autoreload=True​:应用程序将监视其源文件的更改,并在任何更改时重新加载。 这减少了在开发过程中手动重新启动服务器的需要。 但是,某些故障(例如导入时的语法错误)仍然会以调试模式当前无法恢复的方式使服务器停机。
  • compiled_template_cache=False​:模板不会被缓存。
  • static_hash_cache=False​:静态文件哈希(由 ​static_url​ 函数使用)不会被缓存。
  • serve_traceback=True​:当 RequestHandler 中的异常未被捕获时,将生成包含堆栈跟踪的错误页面。

Autoreload 模式与 HTTPServer 的多进程模式不兼容。 如果您使用自动重载模式,则不能给 HTTPServer.start 提供 1 以外的参数(或调用 tornado.process.fork_processes)。

调试模式的自动重新加载功能在 tornado.autoreload 中作为独立模块提供。 两者可以结合使用以提供针对语法错误的额外鲁棒性:在应用程序中设置 ​autoreload=True​ 以在其运行时检测更改,并使用 ​python -m tornado.autoreload myserver.py​ 启动它以捕获任何语法错误或其他 启动时出错。

重新加载会丢失任何 Python 解释器命令行参数(例如 ​-u​),因为它使用 sys.executable 和 sys.argv 重新执行 Python。 此外,修改这些变量将导致重新加载行为不正确。

在某些平台上(包括 10.6 之前的 Windows 和 Mac OSX),进程无法“就地”更新,因此当检测到代码更改时,旧服务器退出并启动新服务器。 众所周知,这会使一些 IDE 感到困惑。


以上内容是否对您有帮助:
在线笔记
App下载
App下载

扫描二维码

下载编程狮App

公众号
微信公众号

编程狮公众号