爬蟲入門項目(golang)

項目地址

• https://github.com/monomania/poem-parent

項目介紹

最近沉迷於古詩文的閱讀上,細品其中,沉迷其中.
但平時閱讀上感覺還是不大方便,故此有這個項目.
項目中儘可能的保留了自己在Java上的一些編碼習慣，
如三層結構：model層 service層，controller層,貼近實際工作開發需要.
希望可以對目前爲Java開發者有需要轉向go的朋友提供一個參考.
如果該項目對您有幫助,請您給一個star吧.

技術選型

• xorm
• go_spider
• beego

項目結構

poem-parent
|-- poem-api            實體類模塊
|   |-- common          公共工具
|   |   `-- base        基礎工具
|   `-- module          業務模塊
|       `-- core
|-- poem-core           後臺核心模塊
|   |-- common          公共工具
|   |   |-- base        基礎工具
|   |   |-- log         日誌工具
|   |   `-- pinyin      拼音轉換工具
|   |-- conf            配置文件
|   |-- module          業務模塊            
|   |   `-- core
|   `-- test
|       `-- bson
|-- poem-spider         爬蟲模塊
|   |-- common          公共工具              
|   |   `-- base        基礎工具
|   |-- conf            配置文件
|   |-- launch          爬蟲啓動類
|   `-- module          業務模塊
|       `-- gushiwen
`-- poem-web            http服務模塊
|    |-- common         公共工具
|    |   |-- base       基礎工具
|    |   |-- fliters    過濾器        
|    |   `-- routers    路由配置
|    |-- conf           配置文件
|    |-- module         業務模塊
|    |   |-- core
|    |   |-- index
|    |   `-- spider
|    `-- test

模塊依賴

模塊名	依賴模塊
poem-api	無
poem-core	poem-api
poem-spider	poem-api oem-core
poem-web	poem-api poem-core poem-spider

實現功能

• 詩人數據的獲取
• 詩句數據的獲取
• 古籍數據的獲取
• 名句數據的獲取
• http api 分頁接口提供

項目爲一次嘗試轉換練習,主要是將java的編寫習慣嘗試轉換到go的開發上.僅作學習參考使用.

功能計劃

• 完善後臺api提供
• 對接flutter版的poem-app

使用教程

• 配置環境

  • 安裝 go
  • 環境變量

  變量名稱=值	說明
  GO111MODULE=on	開啓go mod模塊支持
  GOPROXY=https://goproxy.cn,direct	依賴包下載代理地址
  GOSUMDB=sum.golang.google.cn	包的哈希值校驗地址

• 導入項目到JetBrains GoLand並啓用go mod

• 下載資源包

    cd ./poem-api && go mod tidy
    cd ../poem-core && go mod tidy
    cd ../poem-spider && go mod tidy
    cd ../poem-web && go mod tidy
  
  

• 手動創建數據庫

  數據庫名爲: poem

• 配置數據庫連接

  • 各模塊的conf下的 mysql.ini文件修改配置
    • ./poem-core/conf/mysql.ini
    • ./poem-spider/conf/mysql.ini
    • ./poem-web/conf/mysql.ini

• 同步數據庫表

  運行入口: ./poem-core/PC000Application.go

    注意運行時: working directory需爲 ****/poem-parent/poem-core 下
  
  

• 執行爬取數據

  運行入口: ./poem-spider/PS000Application.go

• 啓動http服務

  運行入口: ./poem-web/PW000Application.go

|