從百度空間到CSDN——博客搬家源碼

1.CSDN的博客使用的是MetaWeblog Api,可以使用xml-rpc進行操作。下面的代碼演示了怎樣使用api發佈博客

package cn.mingyuan.baidu2csdn.core; import java.io.FileOutputStream; import java.io.IOException; import java.net.MalformedURLException; import java.net.URL; import java.util.Date; import java.util.HashMap; import java.util.Map; import org.apache.xmlrpc.XmlRpcException; import org.apache.xmlrpc.client.XmlRpcClient; import org.apache.xmlrpc.client.XmlRpcClientConfigImpl; /** * csdn博文 * @author [e-mail] * */ public class CSDNPost { /** * 博文創建日期 */ private Date dateCreated; /** * 博文內容 */ private String description; /** * 標題 */ private String title; /** * 博文分類 */ private String[] categories; public CSDNPost(){ } public CSDNPost(String title, String description, String[] categories, Date dateCreated) { this.dateCreated = dateCreated; this.description = description; this.title = title; this.categories = categories; } public Date getDateCreated() { return dateCreated; } public void setDateCreated(Date dateCreated) { this.dateCreated = dateCreated; } public String getDescription() { return description; } public void setDescription(String description) { this.description = description; } public String getTitle() { return title; } public void setTitle(String title) { this.title = title; } public String[] getCategories() { return categories; } public void setCategories(String[] categories) { this.categories = categories; } /** * xml-rpc配置 */ private static XmlRpcClientConfigImpl config; /** * xml-rpcClient */ private static XmlRpcClient client; static{ config = new XmlRpcClientConfigImpl(); try { //此處請將telnetor替換爲您的用戶名 config.setServerURL(new URL("http://blog.csdn.net/telnetor/services/metablogapi.aspx")); } catch (MalformedURLException e) { System.out.println("請檢查url"); } client = new XmlRpcClient(); client.setConfig(config); } /** * 日誌記錄 * @param log log */ private void writelog(String log){ FileOutputStream fos=null; try { fos=new FileOutputStream("post.log",true); fos.write((log+"/r/n").getBytes()); fos.flush(); fos.close(); } catch (IOException e) { System.out.println("寫入日誌錯誤："+log); } } /** * 發佈 */ public void publish(){ Map<String, Object> struct = new HashMap<String, Object>(); struct.put("dateCreated", dateCreated); struct.put("description", description); struct.put("title", title); struct.put("categories", categories); Object[] params = new Object[] { "your usrname", "replace it with your username", "replace it with your password", struct, true }; String blogid = null; try { blogid = (String) client.execute("metaWeblog.newPost", params); } catch (XmlRpcException e) { writelog("導入出現錯誤：title="+title); System.out.println("導入出現錯誤：title="+title); } writelog(title + ">> 導入完畢,生成博文id爲>>" + blogid); System.out.println(title + ">> 導入完畢,生成博文id爲>>" + blogid); struct.clear(); } public static void main(String[] args){ CSDNPost post=new CSDNPost(); post.publish(); } }  

其中需要注意的是categories是一個數組。

2.知道了怎樣使用api發佈博客之後，我們就該進行下一步：讀取百度空間的博文內容了。首先定義一個BaiduHi的class，用來存放從百度博客讀取出來的數據。

package cn.mingyuan.baidu2csdn.core; import java.util.Date; /** * 百度博客 * @author [e-mail] * */ public class BaiduHi { /** * 標題 */ private String title; /** * 內容 */ private String description; /** * 分類 */ private String categories; /** * 發佈日期 */ private Date dateCreated; public String getTitle() { return title; } public String getDescription() { return description; } public String getCategories() { return categories; } public Date getDateCreated() { return dateCreated; } public void setTitle(String title) { this.title = title; } public void setDescription(String description) { this.description = description; } public void setCategories(String categories) { this.categories = categories; } public void setDateCreated(Date dateCreated) { this.dateCreated = dateCreated; } public BaiduHi(String title, String description, String categories, Date dateCreated) { this.title = title; this.description = description; this.categories = categories; this.dateCreated = dateCreated; } public BaiduHi() { // TODO Auto-generated constructor stub } /** * @param args */ public static void main(String[] args) { // TODO Auto-generated method stub } }  

3.讀取百度空間博文內容，注意：我們使用的是遊客權限來讀取百度空間的內容，如果有私密信息，需要將其公開之後程序才能讀取。另外我使用的百度空間模板爲“80後青春”，如果您使用的不是此模板，html源碼可能會不同，解析就可能失敗。如果使用本程序請保持和我的模板一致。板式爲空間裝扮-板式-顯示出來的第二行第二列那個

package cn.mingyuan.baidu2csdn.core; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.net.MalformedURLException; import java.net.URL; import java.net.URLConnection; import java.util.ArrayList; import java.util.Date; import java.util.List; import java.util.Stack; import java.util.regex.Matcher; import java.util.regex.Pattern; /** * 百度博客數據抓取及解析 * @author [e-mail] * */ public class BaiduHiFetcher { /** * 下載頁面 * @param url url * @return 網頁源碼 */ private String downloadPage(String url) { URLConnection conn; InputStream in; BufferedReader reader = null; StringBuilder sb = new StringBuilder(); String line = null; try { conn = new URL(url).openConnection(); in = conn.getInputStream(); reader = new BufferedReader(new InputStreamReader(in, "gb2312")); while ((line = reader.readLine()) != null) { sb.append(line); } in.close(); reader.close(); } catch (MalformedURLException e) { System.out.println("請檢查url是否規範"); } catch (IOException e) { System.out.println("讀取源碼錯誤:"+url); } return sb.toString(); } /** * 獲取頁面博文鏈接 * @param html 網頁源碼 * @return 頁面中的博文鏈接 */ private List<String> getPostLinks(String html) { // 分析頁面內容，取得頁面中的文章鏈接 String titleDivRegex = "<div[//s]class=/"tit/"><a[//s]href=[^<>]+?target=/"_blank/">.+?</div>"; Pattern titleDivPattern = Pattern.compile(titleDivRegex); Matcher titleDivMatcher = titleDivPattern.matcher(html); List<String> posts = new ArrayList<String>(); while (titleDivMatcher.find()) { String div = titleDivMatcher.group(); String titleUrl = div.substring(div.indexOf("/"), div.indexOf("/" target")); posts.add("http://hi.baidu.com" + titleUrl); } return posts; } /** * <p>獲取博客總頁數 * <br>我的博客內容有16頁，有上一頁，下一頁，尾頁等這樣的標誌，如果博文少的話可能這些標誌不會出現，請修改此方法 * @param html 源碼（最好是第一頁） * @return 博客總頁數 */ private int getTotalPages(String html) { // 頁碼 // <a href="/cnjsp/blog/index/16" mce_href="cnjsp/blog/index/16">[尾頁]</a> String pageRegex = "<a[//s]href=/"/cnjsp/blog/index/[//d][//d]/">//[尾頁//]</a>"; Pattern pagePattern = Pattern.compile(pageRegex); Matcher pageMatcher = pagePattern.matcher(html); String totalPagesStr = null; int pages = 0; if (pageMatcher.find()) { String pagelink = pageMatcher.group(); totalPagesStr = pagelink.replaceAll("<a[//s]href=/"/cnjsp/blog/index/", "").replaceAll("/">//[尾頁//]</a>", ""); pages = Integer.parseInt(totalPagesStr); } return pages; } /** * <p>獲取博客的所有博文的地址 * <br>沒有對url進行編碼處理，如果博客地址含中文，請對url進行處理 * @param blogUrl 博客地址 * @return 所有博文地址，存放於棧中，使用的時候請使用pop方法取出元素，這樣可以保證按照最先發表的博文最先處理 */ public Stack<String> getAllPostLink(String blogUrl){ Stack<String> posts = new Stack<String>(); // 1.下載第一頁 String firstPageHtml = downloadPage(blogUrl + "/blog/index/0"); // 2.獲取博文總頁數 int totalPages = getTotalPages(firstPageHtml); // 3.下載各摘要頁 posts.addAll(getPostLinks(firstPageHtml)); if (totalPages < 1) { return posts; } for (int i = 1; i <= totalPages; i++) { String page = downloadPage(blogUrl + "/blog/index/" + i); posts.addAll(getPostLinks(page)); } return posts; } /** * 解析博文，獲取標題，發佈時間，內容，分類等信息 * @param postUrl 博文地址 * @return 封裝了博文信息的BaiduHi */ public BaiduHi getBaiduHi(String postUrl){ String html = downloadPage(postUrl); // /<div class="tit"> String titleDivRegex = "<div[//s]id=/"m_blog/"[//s]class=/"modbox/"[//s]style=/"overflow-x:hidden;/"><div[//s]class=/"tit/">.+?</div><div[//s]class=/"date/">"; Pattern titleDivPattern = Pattern.compile(titleDivRegex); Matcher titleDivMatcher = titleDivPattern.matcher(html); String title = null; if (titleDivMatcher.find()) { title = titleDivMatcher.group().replaceAll("<div[//s]id=/"m_blog/"[//s]class=/"modbox/"[//s]style=/"overflow-x:hidden;/"><div[//s]class=/"tit/">", "").replaceAll("</div><div[//s]class=/"date/">", "").trim(); } String dateDivRegex = "<div[//s]class=/"date/">.+?</div>"; Pattern dateDivPattern = Pattern.compile(dateDivRegex); Matcher dateMatcher = dateDivPattern.matcher(html); String dateStr = null; Date postDate = null; if (dateMatcher.find()) { dateStr = dateMatcher.group().replaceAll("<div[//s]class=/"date/">", "").replaceAll("</div>", "").trim(); postDate = getDate(dateStr); } String textDivRegex = "<div[//s]id=/"blog_text/"[//s]class=/"cnt/"[//s]+>.+?</div>"; Pattern textDivPattern = Pattern.compile(textDivRegex); Matcher textMatcher = textDivPattern.matcher(html); String text = null; if (textMatcher.find()) { text = textMatcher.group().replaceAll("<div[//s]id=/"blog_text/"[//s]class=/"cnt/"[//s]+>", "").replaceAll("</div>", "").trim(); } String categoriesRegex = "title=/"查看該分類中所有文章/">類別：.+?</a>"; Pattern categoriesDivPattern = Pattern.compile(categoriesRegex); Matcher categoriesMatcher = categoriesDivPattern.matcher(html); String categories = null; if (categoriesMatcher.find()) { categories = categoriesMatcher.group().replaceAll("title=/"查看該分類中所有文章/">類別：", "").replaceAll("</a>", "").trim(); } BaiduHi hi = new BaiduHi(); hi.setTitle(title); hi.setDescription(text); hi.setCategories(categories); hi.setDateCreated(postDate); return hi; } /** * 解析博文中的日期格式返回Date類型 * @param str 博文中的日期 * @return Date類型日期 */ @SuppressWarnings("deprecation") private Date getDate(String str) { String yearStr = str.substring(0, str.indexOf("年")).trim(); String monthStr = str.substring(str.indexOf("年"), str.indexOf("月")).replace("年", "").trim(); String dayStr = str.substring(str.indexOf("月"), str.indexOf("日")).replace("月", "").trim(); String timeStr = str.substring(str.indexOf("午")).replace("午", "").trim(); String hourStr = timeStr.split(":")[0]; String minutesStr = timeStr.split(":")[1]; Date date = new Date(); date.setYear(Integer.parseInt(yearStr) - 1900); date.setMonth(Integer.parseInt(monthStr) - 1); date.setDate(Integer.parseInt(dayStr)); if (str.contains("下午")) { date.setHours(Integer.parseInt(hourStr) + 12); } else { date.setHours(Integer.parseInt(hourStr)); } date.setMinutes(Integer.parseInt(minutesStr)); return date; } }  

4.我們現在完成了寫CSDN博客與讀取並解析百度空間博文的工作。接下來需要把它們連起來，完成導入

package cn.mingyuan.baidu2csdn.core; import java.util.Stack; /** * 搬家 * @author [e-mail] * */ public class Transfer { /** * @param args */ public static void main(String[] args) { // TODO Auto-generated method stub String postUrl = "http://hi.baidu.com/cnjsp"; BaiduHiFetcher fetcher = new BaiduHiFetcher(); Stack<String> urls = null; urls = fetcher.getAllPostLink(postUrl); while (!urls.isEmpty()) { String url = urls.pop(); BaiduHi hi = null; hi = fetcher.getBaiduHi(url); CSDNPost post = new CSDNPost(); post.setTitle(hi.getTitle()); post.setDescription(hi.getDescription()); post.setCategories(new String[] { hi.getCategories() }); post.setDateCreated(hi.getDateCreated()); post.publish(); try { Thread.sleep(5 * 1000); } catch (InterruptedException e) { System.out.println("休眠出錯"); } } } }  

5.至此如果一切順利的話您的博文應該已經全部導入到CSDN博客了，如果有一些小問題，如網絡超時，操作太頻繁並CSDN暫時封鎖的話，在再次執行導入之前就需要將原來導入的數據刪除，或者是跳過才能保證CSDN博文不會重複。下面是一個刪除CSDN已有博文的方法：

package cn.mingyuan.baidu2csdn.core; import java.io.BufferedReader; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.io.InputStreamReader; import java.net.MalformedURLException; import java.net.URL; import org.apache.xmlrpc.XmlRpcException; import org.apache.xmlrpc.client.XmlRpcClient; import org.apache.xmlrpc.client.XmlRpcClientConfigImpl; public class DeletePostById { private static XmlRpcClientConfigImpl config; private static XmlRpcClient client; static{ config = new XmlRpcClientConfigImpl(); try { config.setServerURL(new URL("http://blog.csdn.net/telnetor/services/metablogapi.aspx")); } catch (MalformedURLException e) { System.out.println("請檢查url"); } client = new XmlRpcClient(); client.setConfig(config); } /** * 刪除帖子 * @param appkey appkey，可以任意，這是一個忽略的值 * @param postid 帖子id * @param username 用戶名 * @param password 密碼 * @param publish 博客在帖子被刪除之後是否重新發布 */ public static void delete(String appkey,String postid,String username,String password,boolean publish){ Object[] params = new Object[] { "ignored value", postid,username,password, true }; try { client.execute("blogger.deletePost", params); } catch (XmlRpcException e) { System.out.println("刪除出錯，postid="+postid); } System.out.println(postid+"刪除完畢"); } /** * @param args * @throws InterruptedException */ public static void main(String[] args) throws InterruptedException { BufferedReader reader = null; String line; try { reader = new BufferedReader(new InputStreamReader(new FileInputStream("content"))); while((line=reader.readLine())!=null){ line=line.split("生成博文id爲：")[1]; delete("ignored",line,"your username","your password",true); Thread.sleep(1000*10); } } catch (FileNotFoundException e1) { System.out.println("文件沒找到"); } catch (IOException e) { System.out.println("讀取文件失敗"); } } }  

6.好了，經過耐心操作我們的導入工作應該已經完成了。

本程序有不足的地方：

• 不支持圖片導入
• 只是針對筆者自己博客量身定做的程序，裏面許多情況如url中包含漢字，模板的通用性等問題沒有加以考慮，在使用的時候應該根據實際情況加以修正
• 有少數博客導入失敗，筆者130多篇博客有4篇導入失敗，不過由於比較少，可以用手動發帖來彌補
• 速度問題 由於CSDN會短暫屏蔽頻繁的訪問，所以本程序在導入一篇博客後採取了休眠5秒鐘的方法，這樣會降低速度。另外如果百度上面的博文過多的話建議採集百度數據的時候也加上休眠時間，防止封鎖

7.使用到的包爲xml-rpc，您可以在這裏下載到最新版本。CSDN博客API在這裏可以找到。程序中涉及的發帖，刪帖所需的參數均在api中有詳細說明