原创 爬蟲心得（十）
解決文章列表是html的文章詳情頁的鏈接的獲取。（模板的配置） 之前爬取文章列表的時候都是得到json格式的，因此jsonpath倒是熟悉，沒有遇到過是html的。 這次遇到了文章列表是html的，所以要使用xpath來獲取文章具體內容。
2020-06-27 19:06:36
原创 逆向學習（二）
接着說，我們已經獲得了DEX文件。 並且通過MT管理器，將DEX移到了模擬器和電腦文件公用的文件夾，從而將DEX轉移到了PC上。 打開之前分享的app逆向文件夾 打開 app逆向工具---jadx-1.0.0-----bin-----j
2020-06-27 19:06:36
1
原创 逆向學習（一）
APP脫殼，獲取DEX文件。 最近APP都是加殼加密的，舉個例子就是Url或者請求頭中帶有SIGN和token這種，沒有辦法直接獲取文章內容。 所以需要簡單的脫殼。第一次做。 1.工具的準備 ReflectMaster 3.3.0（
2020-06-27 19:06:36
1
原创 新華網分享頁採集方法
1.第一次做的時候： if (url.matches(regxhp)) { List<String> time1 = getElementAgainstXpath(s, "//div");
2020-05-25 05:03:32
原创 2019.07——2020.05 整理工作
差不多10個月的斷斷續續的實習，今天來整理一下做過的app的各自的特點吧 上週就像整理來着。。。這周來完成。 簡單整理一下，期間的比較有特點的APP 1.雲南通 ：這個是第一個做的，主要是熟悉數據採集的流程，年代久遠，記不清了
2020-05-25 05:03:32
原创 安裝和使用frida框架
最近遇到加密APP，需要frida進行hook，所以學習安裝了一下 工具準備：frida框架 python 夜神模擬器 adb notepad++ 1.frida框架安裝 官網下載frida https://links.jians
2020-05-14 23:34:47
原创 使用frida框架進行一次簡單的hook來獲取新聞類APP的sign值
工具準備：frida框架 python 夜神模擬器 需要hook的APP（這裏是以掌中惠州爲例） 1.找到需要hook的函數 這裏，我是想要得到掌中惠州APP的url中的sign值 示例： https://api.xiaodingkeji
2020-05-14 23:34:47
2
原创 手機模擬器安裝Xposed框架
如何在手機模擬器上安裝xposed呢？ 工具準備： 1.手機模擬器（以雷電模擬器爲例子） 2.FQ軟件 3.xposedinstaller 安裝過程： 1.下載一個豌豆莢（別的應用市場也可以） 2.搜索xposed框架 3.安裝 4.打開
2020-04-03 21:47:50
2
原创 爬蟲心得（九）
這次是遇到了POST爬蟲問題 所以，這次需要解決POST的相關問題 1.POST和GET的區別 a.post請求的參數是不會留在瀏覽器中的，所以post請求比get請求要更加地安全 b.post的參數是不會在Url中體現出來的，所以更加安
2019-08-06 18:08:15
原创 爬蟲心得（七）
返回值爲html文本處理問題 這裏主要是解決返回值爲html的文本，該如何處理的問題。 在java中解析html就需要使用jsuop jsoup教程：https://www.cnblogs.com/zhangyinhua/p/803759
2019-07-30 18:42:18
原创 爬蟲心得（八）
list判斷爲空的方法 目錄 list判斷爲空的方法 不單單是判斷 list==null 還有判斷 list.isEmpty是否爲true List<String> contents = getElementAgainstXpath(
2019-07-30 18:42:18
原创 爬蟲心得目錄
爬蟲心得(一) readme.txt的配置。 app.pro調度文件的配置 pom.txt文件的配置 爬蟲心得（二） 抓包工具fiddler的使用 postman使用 內容json格式化 爬蟲心得（三） 2種模板的作用 app模板的配置
2019-07-30 18:42:18
原创 常用鏈接的文本xpath路徑
http://rmfp.people.com.cn/n1/2019/0706/c406725-31217756.html text //div[@class='box_con'] https://wap.peopleapp.com/
2019-07-30 18:42:18