1.使用java簡單爬取CSDN
最近在看爬蟲相關的知識,其實還是那句話,萬變不離其宗。得到網頁,然後解析就可以得到我們想要的內容了,但是現在很少用java寫爬蟲的吧,所以寫了一個java爬蟲玩一下。
目標網站: CSDN首頁
然後java爬蟲需要httpcilent請求,jsoup解析,相應的jar包鏈接如下,下載就好。
鏈接
提取碼:63kv
然後就是代碼:
package com.company;
import org.apache.http.HttpResponse;
import org.apache.http.client.HttpClient;
import org.apache.http.client.config.CookieSpecs;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
/**
* @author shelgi
*/
public class Main {
public static void main(String[] args) throws Exception{
// write your code here
HttpClient client = HttpClientBuilder.create().build();
HttpGet hget=new HttpGet("https://www.csdn.net/");
RequestConfig defaultConfig = RequestConfig.custom().setCookieSpec(CookieSpecs.STANDARD).build(); hget.setConfig(defaultConfig);
hget.setHeader("user-agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36");
HttpResponse response=client.execute(hget);
String content= EntityUtils.toString(response.getEntity(),"utf-8");
//jsoup解析網頁
Document doc = Jsoup.parse(content);
String title=doc.title();
System.out.println("標題爲:"+title);
Elements links=doc.select("#feedlist_id > li> div > div.title > h2 > a");
System.out.println(links);
for(Element link:links){
System.out.println(link.text()+":"+link.attr("href"));
}
}
}
運行效果
2.python的字符動態輸出
經常看那些很老的遊戲,出現的提示語都是一個字一個字的慢慢出現,現在python也可以實現這個效果,說不定還能用這個做個簡單的小遊戲呢,話不多說直接上代碼。
import sys
import time
question="今天,你學習了嗎?"
for word in question:
sys.stdout.write(word)
sys.stdout.flush()
time.sleep(0.2)