大量代理 ip 地址解决百度云分享链接失效验证（非确定策略）

特别说下，之前我发了百度网盘爬虫的帖子，提出了资源失效怎么判断，十分感谢朋友有朋友给了我建议，本片公开的代码是去转盘网之前的代码，但是基本差不多，关键是获取大量的代理 ip 地址，这个才是核心，本文先公开获取大量代理 ip 地址的代码（网上的开源工程，我已经做了修改和调整，请大胆使用），然后把判断失效链接的代码再发一下，以方便大家研究。
请点击这里下载 详细点这里](http://www.quzhuanpan.com/dow…
首先做个回顾：百度网盘爬虫 java 分词算法 数据库自动备份 代理服务器爬取 邀请好友注册
好的，进入代码模式：

ing:utf-8
\"\"\"
@author:haoning
@create time:2015.8.5
\"\"\"
from __future__ import division  # 精确除法
from Queue import Queue
from __builtin__ import False
from _sqlite3 import SQLITE_ALTER_TABLE
from collections import OrderedDict
import copy
import datetime
import json
import math
import os
import random
import platform
import re
import threading, errno, datetime
import time
import urllib2
import MySQLdb as mdb


DB_HOST = \'127.0.0.1\'
DB_USER = \'root\'
DB_PASS = \'root\'


def gethtml(url):
    try:
        print \"url\",url
        req = urllib2.Request(url)
        response = urllib2.urlopen(req,None,8) #在这里应该加入代理
        html = response.read()
        return html
    except Exception,e:
        print \"e\",e

if __name__ == \'__main__\':

   while 1:
       #url=\'http://pan.baidu.com/share/link?uk=1813251526&shareid=540167442\'
       url=\"http://pan.baidu.com/s/1qXQD2Pm\"
       html=gethtml(url)
       print html

结果：e HTTP Error 403: Forbidden，这就是说，度娘他是反爬虫的，之后看了很多网站，一不小心试了下面的链接：

http://pan.baidu.com/share/li…

if __name__ == \'__main__\':

   while 1:
       url=\'http://pan.baidu.com/share/link?uk=1813251526&shareid=540167442\'
       #url=\"http://pan.baidu.com/s/1qXQD2Pm\"
       html=gethtml(url)
       print html

结果：，你懂的，有这个的必然已经失效，看来度娘没有反爬虫，好家伙。

其实百度网盘的资源入口有两种方式：

一种是：http://pan.baidu.com/s/1qXQD2Pm,最后为短码。

另一种是：http://pan.baidu.com/share/li…，关键是shareId+uk 前者已知道反爬虫，后者目前没有，所以用python测试后，本人又将代码翻译成了java，因为去转盘是用java写的，直接上代码：

package com.tray.common.utils;

import static org.junit.Assert.*;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.HashMap;
import java.util.Iterator;
import java.util.Map;
import java.util.Properties;
import java.util.Random;
import java.util.Set;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;
import org.junit.Test;

/**
 * 资源校验工具
 * 
 * @author hui
 * 
 */
public class ResourceCheckUtil {
    private static Map rules;
    static {
        loadRule();
    }

    /**
     * 加载规则库
     */
    public static void loadRule() {
        try {
            InputStream in = ResourceCheckUtil.class.getClassLoader()
                    .getResourceAsStream(\"rule.properties\");
            Properties p = new Properties();
            p.load(in);
            Set