这学期就想把习乐题库刷空，一直没时间弄，期末来了，课少了，搞起来~
习乐好像是一个一个学长写的app，但是对不住了，增加了点垃圾数据，23333
思路：
1、手机或模拟器抓包，分析提交自测数据包、查看试卷数据包。
2、模拟上面的数据包。
3、清洗数据，得到想要的信息入库。
Fiddler抓手机/模拟器数据包，分析数据包基本数据包
Fiddler 抓手机包，网上有教程，我就不一一阐述了。
（一）、抓取分析自测数据包
手机点击，然后查看Fiddler,直接上抓到的数据包。
数据头：
POST http://193.112.190.119/MyCollege/getKssjByAuto.app HTTP/1.1
accept: application/json; charset=UTF-8
charset: utf - 8
Content-Type: application/json; charset=UTF-8
Content-Length: 140
Host: 193.112.190.119
Connection: Keep-Alive
Accept-Encoding: gzip
User-Agent: okhttp/3.6.0
Body:
{"course":"毛泽东思想和中国特色社会主义理论体系概论（二）","courseid":104848,"zhang":"第一章","stdid":"***你的学号***"}
需要传递的参数（json格式）：
{
course：课程的名字
courseid：课程的Id,
zhang：章节名字
stdid:学号
}
Fiddler截图如下
显然 前面两个和课程相关，不需要改。后面一个是学号，一样的填上去，post提交，json 格式。
然后会返回json数据的数据：题目信息和关于本次自测的一些信息。
然后发现没有Cokkies居然就可以提交，而且还只要学号？？？
学长偷懒了~，也方便了我...（这里我傻了，后面居然用我自己的学号跑完数据，应该用别人的学号的，反正也不知道，血亏）
管理员看到就看到把，无所谓，反正数据搞到手了，再说，我只是写自测题目。
下面是返回的json数据：
、
这里我们知道找到本次自测的kssjid就好，代表本次测试的唯一编号。
后续的提交自测和查看题目答案都需要这个ID ，也只需要这个ID，不需要Cookies。看到题目数据不要着急清洗，因为后面查看答案会有所有我们想要的。
特别提醒：kssjtmid并不是题目唯一的标识符，而是所有用户写题目的数量，因为这个参数调试数据库好久，总是找不到原因出在哪里，然后发现是题目提交的顺序.......
(二)、模拟提交试卷
同样分析数据包：
数据包头部：
POST http://193.112.190.119/MyCollege/kssjTijiao.app HTTP/1.1
accept: application/json; charset=UTF-8
charset: utf - 8
Content-Type: application/json; charset=UTF-8
Content-Length: 30
Host: 193.112.190.119
Connection: Keep-Alive
Accept-Encoding: gzip
User-Agent: okhttp/3.6.0
传送的数据:
{"kssjid":*****,"kssjtms":[]}
kssjid:自测试卷的Id,利用我们前面获得的数据
kssjtms: 你的答案，可以为空，就是直接提交答案。
返回的数据：
如上。
(三)、查看提交的试卷。和清洗答案
POST请求：
POST http://193.112.190.119/MyCollege/getKssjById.app HTTP/1.1
accept: application/json; charset=UTF-8
charset: utf - 8
Content-Type: application/json; charset=UTF-8
Content-Length: 17
Host: 193.112.190.119
Connection: Keep-Alive
Accept-Encoding: gzip
User-Agent: okhttp/3.6.0
参数：
{"kssjid":****}
同样：我们只需要传递kssjid这个参数，返回一个jsong格式的数据，里面有题目、答案等我们想要的信息，如下图；
清洗数据。
大概介绍下这些 参数。
有用的数据在data里面
Kssjid:对应测试唯一的ID
Kssjtms：就是所有的题目，遍历一遍。
Kssjtms下面的tjdaans就是选项和问题。
对於单选多选都是
bzflag=True表示这个答案是正确的，选项顺序会变，但是答案总共不回变，
对于判断题：
bzdaanb=True 表示这个题目是正确，否则是错误。
基本遍历一遍就能找到题目和对应的答案。然后保存入库就好了。
还有个需要注意的就是，对于题库，我们只有不断提交数据，然后和自己的数据库对比，发现新的再入库。
对比的就是题目的ID，除了个别题目，后面多了个。也当成一个新题目，其他的还好。
所以我顺带记录了入库情况，前面几次没记录。
第三次到最后，前面代表命中率新题率，后面代表获得的题目数量（开始猜测有4K道题目，只有3200+题目，差了800,...）。
496/8400
104/8400
28/8400
8/8400
3/8400
2/8400
3/8400
0/8400
0/8400
0/8400
0/8400
然后我就停止爬虫了，猜测10题以内没入库（除非我脸是真的黑..........）
四、题外话
APP服务器的IP:193.112.190.119 ,是腾讯云服务器。
刚开始还怕学生服务器承受不了，本来打算多进程爬取，后来才发现我这才多大数据量，然后单线程跑。
注意点（awsl）：
1、猜错参数作用，浪费2个小时，才发现。数据库都删了几次。
2、由于开始想的太多，学了Scrapy框架手痒，觉得好用，能快速爬取信息，还有多线程存储数据，直到快写完了，发现没必要用Scrapy，最后连线程池也没用，就是个普通的爬虫，不过挂着个Scrapy的框架，吐血。。。。。
溜了溜了还有计组没复习的，明天考试，刺激~~~