自動提取知乎專欄下面所有的文章

這篇文章教導怎麼自動化提取特定知乎專欄中所有的文章。
這裏隨便找一個專欄作爲示例進行測試一下。
這裏使用的專欄爲：Dizzy In Science

在chrome下打開這個專欄的源碼，可以看到對應着文章鏈接的xpath路徑爲

xpath = "/html/body/div[1]/div/main/div/section/div"

可以看到在初始打開專欄的情況下，只會一次性加載10篇文章，在對專欄進行向下滑動的時候，在到達當前最後一篇文章的時候，又會一次性加載10篇文章。

可以看到這裏又額外加載了10篇文章，總共加載了20篇文章。

可以直接一次性對專欄拉到底，就可以從這個xpath中獲取所有的文章列表，然後自動化提取就可以得到所有的文章鏈接了。