写个爬虫对付三基三严

# -*- coding: UTF-8 -*-

import sys
reload(sys)
sys.setdefaultencoding('utf8')

import json
import requests #需要下载
import cookielib

#首先将cookie文件保存：cookie文件可以理解为远端服务器对请求的计算机的辨认，如果是已经登录的用户，远端计算机会保存该cookie，并且会跟请求数据中的cookie匹配
zsy_cookie={'JSESSIONID':'54D0E95264C9E700C4B515DF61DFB574'}
s = requests.Session() # request.Session是requests模块中的一个类，在同一系列请求中保证服务器对其的识别
#headers是请求的头文件，这个数据尽量全，以保证服务器对该请求辨识为浏览器的请求而不是机器请求，尤其是User-Agent这一条
headers = {
    'Accept':'*/*',
    'Accept-Encoding':'gzip, deflate',
    'Accept-Language':'zh-CN,zh;q=0.8',
    'Connection':'keep-alive',
    'Host':'medu2011.com:8083',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36',
    'Referer':'http://medu2011.com:8083/zsy/pages/common/model_test.jsp?planlevelid=2118',
    'X-Requested-With':'XMLHttpRequest'
}
#在这里定义一个函数，通过list中的dict的某键值定位该dict的索引，用于后面数据的提取
def find_dict(lst, key, value):
    for i, d in enumerate(lst):
        if d.get(key) == value:
            return i
    raise ValueError('no dict with the key and value combination found')
#写一个循环，请求每个试题，并且保存成不同的文件
for x in xrange(2099,2119):
    file_name = './anes'+str(x)+'.txt'
    url = r'http://medu2011.com:8083/zsy/paper/createPaperByPlanLevelId.do?planLevelId='+str(x)
    req = s.get(url, headers = headers, cookies = zsy_cookie)
    html = json.loads(req.content)
    #html输出为前面提到的包含正确答案和题目的字典，我在文末添加了该文件字段的截图
    #后面为对html这个json文件的处理，保存为各自的文件。这个处理的基础是对html的解读
    corr_an = html["correctAnswer"]
    quests = json.loads(html["data"])
    questions = quests['ques']
    # print type(questions)

    for a in corr_an:
        select = a["text"]
        qid = a["question_id"]
        num = find_dict(questions, "id", qid)
        quest_text = questions[num]["text"]
        anss = questions[num]["anss"]
        num2 = find_dict(anss, "orderby", select)
        ans = anss[num2]["text"]
        text = str(qid)+'.'+' '+quest_text+'\t'+ans+'\n'
        with open(file_name, "a+") as f:
            f.write(text)