價格查詢網

花了四天寫了個價格查詢的web體驗版,大致結構是這樣的,前端web界面:

web通過tcp連接後臺一個ppsserverppsserver調用一個ppsget.dll從一些配置好的網站現拉網頁分析產品價格等信息,說起來是很簡單的,要是畫出結構圖來也是很簡單的,看看效果:

 

 

 

爲了寫這個東西查了比價網等很多資料,看來看去覺得現在的一些比價網都把自己當購物門戶了,上面什麼信息都有,數據都是緩存的,有的還隱藏原始鏈接,用戶點進去也都是緩存的數據,不再鏈接到原始出處,看了幾個網站數據誤差較大,有個網站排在最前面價格最低的鏈接點進去之後發現根本沒有那個低價格,也不知道那個價格信息是什麼時候的,或者根本就提取錯了。看了那麼多比價網站,時間誤差最小的也超過10個小時,很令我失望,總之我的出發點和這些網站不同,我希望做一個界面很簡潔的、實時查詢的服務,而且速度要求很快,一次查詢速度最好小於1秒,當然我現在技術預覽版離這個目標還差得很遠。界面簡潔使得用戶即使是使用手機也能得到很好的輸出,也不佔用多少帶寬,我還希望前端接上條碼掃描功能,這樣很多不會輸入的人就可直接對着條碼就能查詢網店價格,多方便啊,呵呵。不過做這個功能發現技術不是大問題,我4天除了布好了架構還做了5家網店的網頁分析,可見這些基本技術都不太難,最大的矛盾是實時查詢數據量太大,就算只查詢一個產品,分析5個網站的數據加在一起估計接近1M,這要是每秒有個幾百幾千人訪問那還得了啊,得要多大的帶寬才能撐得住啊,難怪看了那麼多比價網站沒有一家提供實時查詢的,不是他們做不了實時查詢,的確是因爲帶寬太大,所以我想接下來做一套分佈式查詢模型,將很多無固定ip的機器接入ppscontrolserver,一起參與爲用戶提供查詢服務,今天在看mapreduce,希望自己不要閉門造車,其實很多年前就想做這個功能了,只是一直沒有下手,加上那個時候也沒有一套穩定的網絡庫,現在條件都具備了,希望最近可以做一個簡單的分佈式計算框架出來,那樣以後要做類似功能就容易了,可能只要加入一個簡單的dll發佈一個計算命令就可以了。這個分佈式計算模型做出來之後,傳統的比價網站就只能望俺項背了。

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章