问题出现在循环体内的回调函数,用一个很简单的例子举例:

for x in xrange(3):
    print \"requests begin:%s\"%x
    def callback(respon):
        print x
        print respon.body
    client.fetch(\"http://httpbin.org/get?x=%s\" % x, callback)

此例子忽略了等待回调函数完成的wait实现(不实现这个会导致作为单个文件运行的时候,还没获得结果就退出了),在tornado.testing中的AsyncTestCase提供了相关功能
httpbin.org/get这个地址的作用是返回了请求的json对象,形如:

{
  \"args\": {
    \"x\": \"0\"
  },
  \"headers\": {
    \"Accept-Encoding\": \"gzip\",
    \"Connection\": \"close\",
    \"Host\": \"httpbin.org\",
    \"X-Request-Id\": \"95df3c15-7ed0-4a6d-830d-fb9629e66515\"
  },
  \"origin\": \"192.81.129.91\",
  \"url\": \"http://httpbin.org/get?x=0\"
}

但实际上,由于回调函数特殊的特性:访问闭包内局部变量的当前值。易知,在第一个请求
http://httpbin.org/get?x=0的url返回时,循环早已结束,此时的x已经为2,因此实际上虽然httpbin.org返回的json告诉我们,get参数里的x为0,但闭包内访问到的x已经是2了

解决方法我想了两个,一个是利用回调函数构造时的变量空间,在构造函数时即产生这个参数,形如:

client = AsyncHTTPClient(self.io_loop)
for x in xrange(3):
    def callback(respon,num=x):
        print x, num
        print respon.body
        if num == 2:
            self.stop()

    client.fetch(\"http://httpbin.org/get?x=%s\" % x, wrap(x))

一种是再包一层闭包(这层闭包也可以放在for外面):

client = AsyncHTTPClient(self.io_loop)
for x in xrange(3):
    def wrap(number):
        num = number
        def callback(respon):
            print x, num
            print respon.body
            if num == 2:
                self.stop()
        return callback
    client.fetch(\"http://httpbin.org/get?x=%s\" % x, wrap(x))

#wrap放在for外面:
client = AsyncHTTPClient(self.io_loop)
def wrap(number):
    num = number
    def callback(respon):
        print x, num
        print respon.body
        if num == 2:
            self.stop()
    return callback
for x in xrange(3):
    client.fetch(\"http://httpbin.org/get?x=%s\" % x, wrap(x))

思索了一下,闭包的内存占用问题应当是不可避免的?当循环体的每一项(x)是一个大内存对象时,内存占用等同于不用迭代器用列表进行循环,除了这两种不知道还有没有更优雅的解决方案。。