官方教程说当你写好自己的spiders如douban之后，你可以通过scrapy runspider/crawl douban启动你的爬虫。于是一开始的时候你就知道通过这个命令行来启动爬虫，但是你有没有想过当你敲下这行命令后，scrapy到底做了什么呢？

命令入口：cmdline.py

当你运行 scrapy command arg 这样的命令时,这里的 scrapy 实质是一个 python 脚本，它接受参数，首先调用 scrapy/cmdline.py 中的 execute() 函数.

execute() 函数在 scrapy 安装目录下的 cmdline.py 文件中.而cmdline.py定义以下几个函数：

iter_command_classes(module_name) 
get_commands_from_module(module, inproject) 
get_commands_from_entry_points(inproject, group=\'scrapy.commands\')
get_commands_dict(settings, inproject)
_pop_command_name(argv)
print_header(settings, inproject)
print_commands(settings, inproject)
print_unknown_command(settings, cmdname, inproject)
run_print_help(parser, func, *a, **kw)
_run_command(cmd, args, opts)
_run_command_profiled(cmd, args, opts)
execute(argv=None, settings=None)

这些函数顾名思义，不做太多介绍。其中最重要的是execute，为啥呢？

if __name__ == \'__main__\':
    execute()

因为上面代码告诉我们只有它能自启动，所以我们要详尽的了解它，因此就要读代码了。

def execute(argv=None, settings=None):
# 获取变量
    if argv is None:
        argv = sys.argv
# 获取配置(settings)
    if settings is None:
        settings = get_project_settings()
    check_deprecated_settings(settings)

    inproject = inside_project() #判断是否在项目中，因为可用命令不同
    cmds = _get_commands_dict(settings, inproject) #scrapy.commands中获取命令集
    cmdname = _pop_command_name(argv) #获取输入的命令
    parser = optparse.OptionParser(formatter=optparse.TitledHelpFormatter(), \\
        conflict_handler=\'resolve\') #获取附加选项
        # 根据输入的指令提供不同的结果
    if not cmdname:
        _print_commands(settings, inproject)
        sys.exit(0)
    elif cmdname not in cmds:
        _print_unknown_command(settings, cmdname, inproject)
        sys.exit(2)
    # 下面几行代码针对输入合适的指令如genspider crawl....
    # 解析命令行参数(cmds：为相应的Scrapy Command对象列表)
    cmd = cmds[cmdname]
    parser.usage = \"scrapy %s %s\" % (cmdname, cmd.syntax())
    parser.description = cmd.long_desc()
    settings.setdict(cmd.default_settings, priority=\'command\')
    cmd.settings = settings
    cmd.add_options(parser)
    opts, args = parser.parse_args(args=argv[1:])
    _run_print_help(parser, cmd.process_options, args, opts)
    # 设定用于启动爬取CrawlerProcess的配置
    cmd.crawler_process = CrawlerProcess(settings)
    _run_print_help(parser, _run_command, cmd, args, opts)
    sys.exit(cmd.exitcode)

作为整个程序的入口，其主要做的事情是解析用户爬虫的配置属性，根据传递的命令行参数，调用对应的代码来执行相应的任务.

scrapy command arg 中 command 可以为 crawl / startproject / genspider / runspider / deploy / …等命令,每一个命令在 scrapy/commands 文件夹下都有对应 command类.

对于 scrapy runsspider test ,就会调用 commands/runspider.py 中的方法去执行相应的爬虫任务.

调度者：runspider.py

runspider.py定义了一个函数_import_file从我们的爬虫中查找所有的依赖包，定义了一个Command类(继承ScrapyCommand)。
Command中最重要的功能是run,他用spclasses = list(iter_spider_classes(module))判断输入的爬虫是否存在。

    self.crawler_process.crawl(spidercls, **opts.spargs)
    self.crawler_process.start()

随后用crawler_process(即实例化的CrawlerProcess）调用crawler.py的CrawlerProcess。crawler是Scrapy核心的API，所以需要仔细介绍。

核心API： crawler.py

事实上我们并不一定需要通过命令行的方式运行scrapy的爬虫，完全可以通过API从脚本中运行Scrapy。CrawlerProcess可以为你自启动一个Twisted反应子，配置logging信息、设置脚本关闭处理程序，
我们先来解读self.crawler_process.crawl(spidercls, **opts.spargs)中的crawl。流程如下

1. crawler = self.create_crawler(crawler_or_spidercls)
2. create_crawler return self._create_crawler(crawler_or_spidercls)
3. _create_crawler return Crawler(spidercls, self.settings)spidercls = self.spider_loader.load(spidercls)
4. spider_loader = _get_spider_loader(settings)
5. …. 读不下去了
6. CrawlerRunner.crawl return self._crawl(crawler, *args, **kwargs)
7. _crawl crawler.crawl(*args, **kwargs)

8. crawler.crawl

    @defer.inlineCallbacks
    def crawl(self, *args, **kwargs):
        assert not self.crawling, \"Crawling already taking place\"
        self.crawling = True
   
        try:
            self.spider = self._create_spider(*args, **kwargs)
            self.engine = self._create_engine()
            start_requests = iter(self.spider.start_requests())
            yield self.engine.open_spider(self.spider, start_requests)
            yield defer.maybeDeferred(self.engine.start)

本来我是打算一行一行讲解代码的，但是工作量太大，也很难表述清楚，我还是直接说明他的作用吧：
用指定的参数运行爬虫，最后从spider.start_requests()开启新的征途。

结论：
因此当我们执行scrapy runspider SpiderName的时候，Scrapy其实以以下顺序直到启动我们的爬虫。
scrapy/cmdline.py -> scrapy/commands/runspider.py -> scrapy/crawler.py -> 从我们的爬虫的start_requests开始下一步。

这个代码读的我好晕，但是至少我知道了start_requests是我们运行爬虫的关键。