jsoup下拉刷新分頁

package collect;


import java.io.IOException;


import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;


public class FenYeXiala {


public static void main(String[] args) throws IOException {
for(int page_number=1;;page_number++){
           int data_rows = getPageNum(page_number);
           System.out.println("當前執行:" + page_number + "頁,數據數:" + data_rows);
           //返回數據爲空時,結束循環
           if(data_rows == 0){
               break;
           }
       }


}
//獲取內容
public static void forEachData(Elements items){
String host="https://www.oschina.net";
//過濾廣告
for (Element element : items) {
if(!items.attr("data-tracepid").isEmpty()){
continue;

//標題
String title=element.select("a").first().text();

//標題地址
String url=element.select("a").first().attr("href");
if(!url.startsWith("http://")){
url=host+url;
}
System.out.println(title);
System.out.println(url);
System.out.println("-----------------------------------------------------");
}
}
//獲得總頁碼
public static int getPageNum(int pageNum) throws IOException{
String page_url="https://www.oschina.net/action/ajax/get_more_news_list?newsType=&p="+pageNum;
Document document = Jsoup.connect(page_url) 
                .userAgent("ozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36") 
                .post();
Elements items=document.select("div[class=item box]");
forEachData(items);
return items.size();


}
}
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章