python multiprocessing.pool.MaybeEncodingError

代码： 

from multiprocessing import Pool

p = Pool(5)
p.map(download_file, file_lists)

错误信息：

multiprocessing.pool.MaybeEncodingError: Error sending result: 'HTTPError()'. Reason: 'PicklingError("Can't pickle <type 'instancemethod'>: attribute lookup __builtin__.instancemethod failed",)'
 

在网上搜索到三种方法： 

1.用线程替换进程
2.可以使用copy_reg来规避上面的异常.
3.dill 或pathos.multiprocesssing ：use 'import pathos.multiprocesssing', instead of 'import multiprocessing'. pathos.multiprocessing is a fork of multiprocessing that uses dill. dill can serialize almost anything in python, so you are able to send a lot more around in parallel.
 

最开始采用了方法3：use 'import pathos.multiprocesssing', instead of 'import multiprocessing' ，然后程序并不在抛出该错误，但是启动case后，appium启动driver后便不在干活（使用两个进程分别在不同端口启动driver），appium log没有错误，pycharm也一直转转转卡在那不去执行find element， 所以还是还原到使用import multiprocessing

 

最终解决方案如下：

1. mac里面的python都删干净
2. 用pyenv装python 3.5.2
3. 执行multi process case script
4. 把该装的selenium, Pillow, requests装一装
5. 最后一步降级appium-python-client ： pip install appium-python-client==0.25 (这个是重点,可以忽略其他步骤直接降级版本，这里是因为需要才重装， 当然笔者local的0.31版本也可以的，就是最新版(0.43)有问题)
6. 成功！