目錄
一、項目背景與目標
二、需求分析
三、主要思路與考點
詳情
-
一、項目背景與目標
- 項目背景
- 在大數據浪潮洶涌澎湃發展的數據時代，如何能夠擁有更多的數據成爲佔領制戰略制高點的關鍵因素。很多大型互聯網公司坐擁千萬級、億級用戶，其海量數據可以輕而易舉獲取。然很多數以千萬計的中小微型企業，自身並沒有大數據量的數據來源，往往只能通過類似於谷歌、百度的方式，去互聯網上通過數據採集技術將信息所關注的信息抓取下來，共後續的分析挖掘使用。
- 數據採集技術從根源上助推大數據技術的發展，從早期的雅虎!、谷歌等，到現在的百度、今日頭條等等，均是此項技術的開拓者、使用者，並創造了巨大的商業價值。時至今日，幾乎每個互聯網公司都會使用數據採集技術，從互聯網上有的放矢的獲取自己關心的數據。其應用之廣，可以用“無空不入"來形容。
- 數據採集工程師，也稱爲網絡爬蟲工程師，是當下互聯網招聘中最常見的崗位之一，薪資待遇高於一般研發崗位。
- 項目目標
- 用時不超過一週，主要是通過查看之前教學資料和視頻，百度搜索等方式搞定，加強實戰應用開發能力和自學能力。
- 最終達到對於常用的小模塊開發，可以在1-5天內迅速解決戰鬥，並形成自身的類庫積累。
- 掌握爬蟲開發流程、核心代碼開發，達到爬蟲小項目的自主獨立開發能力。
- 項目背景
-
二、需求分析
- 數據源說明
- 新聞數據是衆多數據需求種類中最多見的一種，用於熱點發現、趨勢分析、個性化推薦等常見數據應用中。
- 中國青年網是國內用戶羣體最廣泛、體量最大、權威度最高，集新聞編撰、發佈、傳播爲一體的新聞數據中心。
故國內大多數的新聞數據採集器，均會採集此站點作爲重要的新聞數據來源。
- 數據源說明
-
數據源確定
- 入口種子地址：http://news.youth.cn/gn/
該URL地址爲中國青年網之國內新聞滾動板塊，涵蓋國內最新、最全的焦點新聞列表，以此爲入口 - 採集要求
- 數據字段要求
- 新聞標題、標題鏈接、發佈時間、數據插入數據庫的時間
- 首次採集
- 因爲新聞數據量巨大，機器和帶寬有限，故只採集前5頁即可，並存儲到mysql數據庫中。
- 增量採集
- 當首次採集的5頁完成後，定時週期性每隔1分鐘增量採集一次，將新出現的新聞條目採集下來，並存儲到mysql數據庫即可。
- 採集日誌輸出要求
- 日誌當中，要能一直輸出當前共採集多少條新聞、當天共採集多少條新聞
- 數據字段要求
- 入口種子地址：http://news.youth.cn/gn/
-
三、主要思路與考點
- 主要思路
- 通過javase+maven+UrlConnection+httpclient網頁採集組件+jsoup網頁解析組件+正則表達式+mysql綜合實現該項目
- 數據採集器的開發流程： 主要包括提交任務的用戶接口層、任務調度層、網絡爬取層、數據解析層、數據持久化層，共5個主要層，再循環至任務調度層的過程。
- 模塊間解耦設計，模塊間通過類或方法來銜接串聯，最終形成完整的系統。
- 主要思路
-
主要考點
- 項目分析與開發過程熟悉
- JavaSe程序設計基礎
- 面向對象程序設計
- maven項目構建和開發
- UrlConnection學習和使用
- httpclient學習和使用
- 正則表達式
- jsoup學習和使用
- mysql數據庫操作
天亮教育是一家從事大數據雲計算、人工智能、教育培訓、產品開發、諮詢服務、人才優選爲一體的綜合型互聯網科技公司。
公司由一批BAT等一線互聯網IT精英人士創建，
以"快樂工作，認真生活，打造高端職業技能教育的一面旗幟"爲願景，胸懷"讓天下沒有難找的工作"使命，
堅持"客戶第一、誠信、激情、擁抱變化"的價值觀，
全心全意爲學員賦能提效，踐行技術改變命運的初心。
更多學習討論， 請加入
官方-天亮大數據交流-366784928
羣二維碼：
天亮教育公開課-從小白到大佬修成記-全系列視頻地址：http://bbs.myhope365.com/forum.php?mod=viewthread&tid=1422&extra=page%3D1
歡迎關注天亮教育公衆號，大數據技術資料與課程、招生就業動態、教育資訊動態、創業歷程分享一站式分享，官方微信公衆號二維碼：
天亮教育大數據官方羣318971238，
天亮教育web前端官方羣318971238，
爬蟲、nlp技術qq羣320349384
hadoop & spark & hive技術羣297585251
教育培訓官網：http://myhope365.com
項目研發業務尚雲科技官網：http://shangyuninfo.com/
官方天亮論壇:http://bbs.myhope365.com/