python threading和multiprocessing模块基本用法实例分析

本文实例讲述了python threading和multiprocessing模块基本用法。分享给大家供大家参考，具体如下：

前言

这两天为了做一个小项目，研究了一下python的并发编程，所谓并发无非多线程和多进程，最初找到的是threading模块，因为印象中线程“轻量...”，“切换快...”，“可共享进程资源...”等等，但是没想到这里水很深，进而找到了更好的替代品multiprocessing模块。下面会讲一些使用中的经验。

后面出现的代码都在ubuntu10.04 + python2.6.5的环境下测试通过。

一、使用threading模块创建线程

1、三种线程创建方式

（1）传入一个函数

这种方式是最基本的，即调用threading中的Thread类的构造函数，然后指定参数target=func，再使用返回的Thread的实例调用start()方法，即开始运行该线程，该线程将执行函数func，当然，如果func需要参数，可以在Thread的构造函数中传入参数args=(...)。示例代码如下：

#!/usr/bin/python
#-*-coding:utf-8-*-
import threading
#用于线程执行的函数
def counter(n):
  cnt = 0;
  for i in xrange(n):
    for j in xrange(i):
      cnt += j;
  print cnt;
if __name__ == '__main__':
 #初始化一个线程对象，传入函数counter，及其参数1000
  th = threading.Thread(target=counter, args=(1000,));
 #启动线程
  th.start();
 #主线程阻塞等待子线程结束
  th.join();

这段代码很直观，counter函数是一个很无聊的双重循环，需要注意的是th.join()这句，这句的意思是主线程将自我阻塞，然后等待th表示的线程执行完毕再结束，如果没有这句，运行代码会立即结束。join的意思比较晦涩，其实将这句理解成这样会好理解些“while th.is_alive(): time.sleep(1)”。虽然意思相同，但是后面将看到，使用join也有陷阱。

（2）传入一个可调用的对象

许多的python 对象都是我们所说的可调用的，即是任何能通过函数操作符“（）”来调用的对象（见《python核心编程》第14章）。类的对象也是可以调用的，当被调用时会自动调用对象的内建方法__call__()，因此这种新建线程的方法就是给线程指定一个__call__方法被重载了的对象。示例代码如下：

#!/usr/bin/python
#-*-coding:utf-8-*-
import threading
#可调用的类
class Callable(object):
  def __init__(self, func, args):
    self.func = func;
    self.args = args;
  def __call__(self):
    apply(self.func, self.args);
#用于线程执行的函数
def counter(n):
  cnt = 0;
  for i in xrange(n):
    for j in xrange(i):
      cnt += j;
  print cnt;
if __name__ == '__main__':
 #初始化一个线程对象，传入可调用的Callable对象，并用函数counter及其参数1000初始化这个对象
  th = threading.Thread(target=Callable(counter, (1000,)));
 #启动线程
  th.start();
 #主线程阻塞等待子线程结束
  th.join();

这个例子关键的一句是apply(self.func, self.args); 这里使用初始化时传入的函数对象及其参数来进行一次调用。

（3）继承Thread类

这种方式通过继承Thread类，并重载其run方法，来实现自定义的线程行为，示例代码如下：

#!/usr/bin/python
#-*-coding:utf-8-*-
import threading, time, random
def counter():
  cnt = 0;
  for i in xrange(10000):
    for j in xrange(i):
      cnt += j;
class SubThread(threading.Thread):
  def __init__(self, name):
    threading.Thread.__init__(self, name=name);
  def run(self):
    i = 0;
    while i < 4:
      print self.name,'counting...\n';
      counter();
      print self.name,'finish\n';
      i += 1;
if __name__ == '__main__':
  th = SubThread('thread-1');
  th.start();
  th.join();
  print 'all done';

这个例子定义了一个SubThread类，它继承了Thread类，并重载了run方法，在方法中调用counter4次并打印一些信息，可以看到这种方式比较直观。在构造函数中要记得先调用父类的构造函数进行初始化。

2、python多线程的限制

python多线程有个讨厌的限制，全局解释器锁（global interpreter lock），这个锁的意思是任一时间只能有一个线程使用解释器，跟单cpu跑多个程序一个意思，大家都是轮着用的，这叫“并发”，不是“并行”。手册上的解释是为了保证对象模型的正确性！这个锁造成的困扰是如果有一个计算密集型的线程占着cpu，其他的线程都得等着....，试想你的多个线程中有这么一个线程，得多悲剧，多线程生生被搞成串行；当然这个/:RVjv4(4(4(4)E4)5A}}|5}}|M%QI4>c?/R:"/R""R/^ǒj&n>>c2'K?b7"AWT4(М蜱lНtg>c?k~C/>sRw(A%蜱 1"oC/(Eb"\4(ǒ(B*,4(/vr'>( Р/R"RKB;~k/v:'7vr'/jv|4( РMQ}}|M}}|4(lНt耀~jsw>c?(:"b"\4(РСЁ蜱RK'j,4(+R(Р4)Q}}|}}|4(lНtЁРРР4)}}}|}}}|B*C(4(4(rΣ?jrZ5jZWB;'B:vR/'/v7vjjfbǖr/b{?76W6'k/S^BgRg+Sg3jSh屔輽屔輽4(屔е4()/,4+),4(nknj>~r/rgc(нMх}/N7L/(нMх}V6z_Vg,/(нMх}*L/(нMх}_N7(нMх}^g,/(нMх}53V6/^Vg,/>+(нMх}V6N74(rorZ&/r'&*