3个实例帮你理解Python中的线程
admin
2023-07-31 01:48:18
0

我们将会看到一些在Python中使用线程的实例和如何避免线程之间的竞争。
你应当将下边的例子运行多次,以便可以注意到线程是不可预测的和线程每次运行出的不同结果。
声明:从这里开始忘掉你听到过的关于GIL的东西,因为GIL不会影响到我想要展示的东西。

实例1

我们将要请求五个不同的url:

单线程

import time  
import urllib2  
def get_responses():  
  urls = [  
      \'http://www.google.com\',  
      \'http://www.amazon.com\',  
      \'http://www.ebay.com\',  
      \'http://www.alibaba.com\',  
      \'http://www.reddit.com\'  
  ]  
  start = time.time()  
  for url in urls:  
      print url  
      resp = urllib2.urlopen(url)  
      print resp.getcode()  
  print \"Elapsed time: %s\" % (time.time()-start)  
get_responses()  

输出:

http://www.google.com 200  
http://www.amazon.com 200  
http://www.ebay.com 200  
http://www.alibaba.com 200  
http://www.reddit.com 200  
Elapsed time: 3.0814409256  

解释:

  • url顺序的被请求
  • 除非cpu从一个url获得了回应,否则不会去请求下一个url
  • 网络请求会花费较长的时间,所以cpu在等待网络请求的返回时间内一直处于闲置状态。

多线程

import urllib2  
import time  
from threading import Thread  
class GetUrlThread(Thread):  
  def __init__(self, url):  
      self.url = url   
      super(GetUrlThread, self).__init__()  
  def run(self):  
      resp = urllib2.urlopen(self.url)  
      print self.url, resp.getcode()  
def get_responses():  
  urls = [  
      \'http://www.google.com\',   
      \'http://www.amazon.com\',   
      \'http://www.ebay.com\',   
      \'http://www.alibaba.com\',   
      \'http://www.reddit.com\'  
  ]  
  start = time.time()  
  threads = []  
  for url in urls:  
      t = GetUrlThread(url)  
      threads.append(t)  
      t.start()  
  for t in threads:  
      t.join()  
  print \"Elapsed time: %s\" % (time.time()-start)  
get_responses()  

输出:

http://www.reddit.com 200  
http://www.google.com 200  
http://www.amazon.com 200  
http://www.alibaba.com 200  
http://www.ebay.com 200  
Elapsed time: 0.689890861511  

解释:

  • 意识到了程序在执行时间上的提升
  • 我们写了一个多线程程序来减少cpu的等待时间,当我们在等待一个线程内的网络请求返回时,这时cpu可以切换到其他线程去进行其他线程内的网络请求。
  • 我们期望一个线程处理一个url,所以实例化线程类的时候我们传了一个url。
  • 线程运行意味着执行类里的run()方法。
  • 无论如何我们想每个线程必须执行run()。
  • 为每个url创建一个线程并且调用start()方法,这告诉了cpu可以执行线程中的run()方法了。
  • 我们希望所有的线程执行完毕的时候再计算花费的时间,所以调用了join()方法。
  • join()可以通知主线程等待这个线程结束后,才可以执行下一条指令。
  • 每个线程我们都调用了join()方法,所以我们是在所有线程执行完毕后计算的运行时间。

关于线程:

  • cpu可能不会在调用start()后马上执行run()方法。
  • 你不能确定run()在不同线程建间的执行顺序。
  • 对于单独的一个线程,可以保证run()方法里的语句是按照顺序执行的。
  • 这就是因为线程内的url会首先被请求,然后打印出返回的结果。

实例2

我们将会用一个程序演示一下多线程间的资源竞争,并修复这个问题。

from threading import Thread  
#define a global variable  
some_var = 0   
class IncrementThread(Thread):  
  def run(self):  
      #we want to read a global variable  
      #and then increment it  
      global some_var  
      read_value = some_var  
      print \"some_var in %s is %d\" % (self.name, read_value)  
      some_var = read_value + 1   
      print \"some_var in %s after increment is %d\" % (self.name, some_var)  
def use_increment_thread():  
  threads = []  
  for i in range(50):  
      t = IncrementThread()  
      threads.append(t)  
      t.start()  
  for t in threads:  
      t.join()  
  print \"After 50 modifications, some_var should have become 50\"  
  print \"After 50 modifications, some_var is %d\" % (some_var,)  
use_increment_thread()  

多次运行这个程序,你会看到多种不同的结果。

解释:

  • 有一个全局变量,所有的线程都想修改它。
  • 所有的线程应该在这个全局变量上加 1 。
  • 有50个线程,最后这个数值应该变成50,但是它却没有。

为什么没有达到50?

  • 在some_var是15的时候,线程t1读取了some_var,这个时刻cpu将控制权给了另一个线程t2。
  • t2线程读到的some_var也是15
  • t1和t2都把some_var加到16
  • 当时我们期望的是t1、t2两个线程使some_var + 2变成17
  • 在这里就有了资源竞争。
  • 相同的情况也可能发生在其它的线程间,所以出现了最后的结果小于50的情况。

解决资源竞争

from threading import Lock, Thread  
lock = Lock()  
some_var = 0   
class IncrementThread(Thread):  
  def run(self):  
      #we want to read a global variable  
      #and then increment it  
      global some_var  
      lock.acquire()  
      read_value = some_var  
      print \"some_var in %s is %d\" % (self.name, read_value)  
      some_var = read_value + 1   
      print \"some_var in %s after increment is %d\" % (self.name, some_var)  
      lock.release()  
def use_increment_thread():  
  threads = []  
  for i in range(50):  
      t = IncrementThread()  
      threads.append(t)  
      t.start()  
  for t in threads:  
      t.join()  
  print \"After 50 modifications, some_var should have become 50\"  
  print \"After 50 modifications, some_var is %d\" % (some_var,)  
use_increment_thread()  

再次运行这个程序,达到了我们预期的结果。

解释:

  • Lock 用来防止竞争条件
  • 如果在执行一些操作之前,线程t1获得了锁。其他的线程在t1释放Lock之前,不会执行相同的操作
  • 我们想要确定的是一旦线程t1已经读取了some_var,直到t1完成了修改some_var,其他的线程才可以读取some_var
  • 这样读取和修改some_var成了逻辑上的原子操作。

实例3

让我们用一个例子来证明一个线程不能影响其他线程内的变量(非全局变量)。

time.sleep()可以使一个线程挂起,强制线程切换发生。

from threading import Thread  
import time  
class CreateListThread(Thread):  
  def run(self):  
      self.entries = []  
      for i in range(10):  
          time.sleep(1)  
          self.entries.append(i)  
      print self.entries  
def use_create_list_thread():  
  for i in range(3):  
      t = CreateListThread()  
      t.start()  
use_create_list_thread()

运行几次后发现并没有打印出争取的结果。当一个线程正在打印的时候,cpu切换到了另一个线程,所以产生了不正确的结果。我们需要确保print self.entries是个逻辑上的原子操作,以防打印时被其他线程打断。

我们使用了Lock(),来看下边的例子。

from threading import Thread, Lock  
import time  
lock = Lock()  
class CreateListThread(Thread):  
  def run(self):  
      self.entries = []  
      for i in range(10):  
          time.sleep(1)  
          self.entries.append(i)  
      lock.acquire()  
      print self.entries  
      lock.release()  
def use_create_list_thread():  
  for i in range(3):  
      t = CreateListThread()  
      t.start()  
use_create_list_thread() 

这次我们看到了正确的结果。证明了一个线程不可以修改其他线程内部的变量(非全局变量)。

原文:Understanding Threads in Python
翻译:acmerfight

相关内容

热门资讯

Mobi、epub格式电子书如... 在wps里全局设置里有一个文件关联,打开,勾选电子书文件选项就可以了。
定时清理删除C:\Progra... C:\Program Files (x86)下面很多scoped_dir开头的文件夹 写个批处理 定...
scoped_dir32_70... 一台虚拟机C盘总是莫名奇妙的空间用完,导致很多软件没法再运行。经过仔细检查发现是C:\Program...
500 行 Python 代码... 语法分析器描述了一个句子的语法结构,用来帮助其他的应用进行推理。自然语言引入了很多意外的歧义,以我们...
小程序支付时提示:appid和... [Q]小程序支付时提示:appid和mch_id不匹配 [A]小程序和微信支付没有进行关联,访问“小...
pycparser 是一个用... `pycparser` 是一个用 Python 编写的 C 语言解析器。它可以用来解析 C 代码并构...
微信小程序使用slider实现... 众所周知哈,微信小程序里面的音频播放是没有进度条的,但最近有个项目呢,客户要求音频要有进度条控制,所...
65536是2的几次方 计算2... 65536是2的16次方:65536=2⁶ 65536是256的2次方:65536=256 6553...
Apache Doris 2.... 亲爱的社区小伙伴们,我们很高兴地向大家宣布,Apache Doris 2.0.0 版本已于...
项目管理和工程管理的区别 项目管理 项目管理,顾名思义就是专注于开发和完成项目的管理,以实现目标并满足成功标准和项目要求。 工...