微博數據各字段的含義

最近在寫微博的爬蟲，框架已經基本穩定，但是在解析各字段含義的環節卡了好幾天，因爲不清楚各個字段的含義，官網的api註釋好像有點過時，很多字段沒有註釋，所以只能自己一點一點分析了

移動端得到的微博數據是json格式的，獲得一個頁面的數據以後，設爲data,則
data[‘cards’][0][‘card_group’]
能夠獲得一個數組，數組內每個元素都是一行微博，裏面包含了發佈時間，微博內容，發佈用戶，轉載內容等等。具體的字段有：

'idstr',                    #等同於id，是str形式
'id',                       #信息id
'created_timestamp',        #創建時間戳 ex:1448617509
'created_at',               #創建時間。但是要注意，如果是今年以前的數據，
                            #顯示格式是'year-month-day hour:min:sec' 格式。
                            #而今年的數據則顯示爲'month-day hour:min:sec'格式
'attitudes_count',          #點贊數
'reposts_count',            #轉發數
'comments_count',           #評論數目
'isLongText',               #是否是長微博（就目前來看，都是False）
'source',                   #用戶客戶端（iphone等）
'pid',                      #不明，但是有必要保存，不一定有值
'bid',                      #不明，但是有必要保存，不一定有值

# 圖片信息--------------------------------------------------------------
'original_pic',             #圖片相關，原始圖片地址
'bmiddle_pic',              #圖片地址，與original_pic相比，只是把large換位bmiddle
'thumbnail_pic',            #地址似乎等於pic中圖片地址，尺寸是thumb
'pic_ids',                  #圖片id，是個Array
'pics',                     #如果包含圖的話，有該項，是一個數組，內嵌字典，
                            # 包括size,pid,geo,url等

# 以下字段內含數組或字典格式，需要進一步處理----------------------------------
'retweeted_status',         #轉載信息。如果該微博內有轉載信息，則含有該項。轉載項字段與本微博一致
'user',                     #用戶信息，字典格式。其中['uid']與['name']分別表示用戶的id和名字
'page_info',                #頁面內嵌的鏈接的信息。比如外鏈，文章，視頻，地理信息專題等內容。
'topic_struct',             #話題信息，是數組格式，內涵字典，其中有'topic_title'項。
'text',                     #文本信息。內涵表情，外鏈，回覆，圖像，話題等信息。

這裏要講一下text項的處理問題。由於text項其實是一段html代碼，所以也可以用網頁分析包（如python的beautifulsoup, java 的 jsoup 等）來分析，但是一則沒有必要且速度慢，二則在新的雲主機上配置客戶端的時候還要下依賴包很麻煩，所以就使用正則表達式來分析了

隨便調了一個文本過來，是這樣的

<a class="k" href="/k/%E9%9F%B3%E4%B9%90%E4%B8%8B%E5%8D%88%E8%8C%B6?from=feed">#音樂下午茶#</a>
未覺池塘春草夢，階前梧葉已秋聲。雨侵壞甕新苔綠，秋入橫林數葉紅。夜深風竹敲秋韻，萬葉千聲皆是恨。人人解說悲秋事，不似詩人徹底知...<a data url=http://t.cn/zRMpLeo href="http://weibo.cn/sinaurl?u=http%3A%2F%2Ft.cn%2FzRMpLeo%3Furl_type%3D1%26object_type%3D%26pos%3D1&ep=AfF1y1cpN%2C2590506210%2CAfF1y1cpN%2C2590506210" class=""><i class="iconimg iconimg-xs"><img src="http://u1.sinaimg.cn/upload/2014/10/16/timeline_card_small_video_default.png"></i><span class="surl-text">視頻</span></a>

在上述文本中，包含了一個topic鏈接（#音樂下午茶#），一個外鏈鏈接（視頻）還有文本（未覺池塘春草夢，階前梧葉已秋聲。雨侵壞甕新苔綠，秋入橫林數葉紅。夜深風竹敲秋韻，萬葉千聲皆是恨。人人解說悲秋事，不似詩人徹底知…）

各項相對於的正則表達式如下所示

<i.+?</i>           #表情，也可能內含一些東西
<a class="k".+?</a> #話題         
<a href.+?</a>      #用戶鏈接               
回覆.+?//            #回覆              
\[.+?\]             #表情             
<a data-url.+?</a>  #一般表示外鏈，表示視頻，網頁等等
<img.+?>            #圖像

下面是相對應的python代碼，都包含在parseMicroblogPage類中。當獲得頁面數據之後，調用其中的parse_blog_page函數，即會返回一個數組，裏面包含了處理過以後的微博數據

class parseMicroblogPage():

    def __init__(self):
        self.p_face=re.compile(r'\[.+?\]')
        self.p_face_i=re.compile(r'<i.+?</i>')
        self.p_user=re.compile(r'<a href.+?</a>')
        self.p_topic=re.compile(r'<a class="k".+?</a>')
        self.p_reply=re.compile(r'回覆.+?//')
        self.p_link=re.compile(r'<a data-url.+?</a>')
        self.p_img=re.compile(r'<img.+?>')
        self.p_span=re.compile(r'<span.+?</span>')
        self.p_http_png=re.compile(r'http://.+?png')

    def parse_blog_page(self,data):
        try:        # check if the page is json type
            data=json.loads(data)
        except:
            save_page(data)
            raise ValueError('Unable to parse page')

        try:        # check if the page is empty
            mod_type=data['cards'][0]['mod_type']
        except:
            save_page(json.dumps(data))
            raise ValueError('The type of this page is incorrect')

        if 'empty' in mod_type:
            raise ValueError('This page is empty')

        try:        # get card group as new data
            data=data['cards'][0]['card_group']
        except:
            save_page(json.dumps(data))
            raise ValueError('The type of this page is incorrect')

        data_list=[]
        for block in data:
            res=self.parse_card_group(block)
            data_list.append(res)

        return data_list

    def parse_card_group(self,data):
        data=data['mblog']
        msg=self.parse_card_inner(data)
        return msg

    def parse_card_inner(self,data):
        msg={}
        keys=list(data.keys())

        key_array=[
            # 基本信息--------------------------------------------------------------
            'idstr',                        #等同於id，是str形式
            'id',                           #信息id
            'created_timestamp',          #創建時間戳 ex:1448617509
            'attitudes_count',            #點贊數
            'reposts_count',              #轉發數
            'comments_count',             #評論數目
            'isLongText',                  #是否是長微博（就目前來看，都是False）
            'source',                      #用戶客戶端（iphone等）
            'pid',                         #不明，但是有必要保存，不一定有值
            'bid',                         #不明，但是有必要保存，不一定有值
            # 圖片信息--------------------------------------------------------------
            'original_pic',               #圖片相關，原始圖片地址
            'bmiddle_pic',                #圖片地址，與original_pic相比，只是把large換位bmiddle
            'thumbnail_pic',              #地址似乎等於pic中圖片地址，尺寸是thumb
            'pic_ids',                     #圖片id，是個Array
            'pics',                        #如果包含圖的話，有該項，是一個數組，內嵌字典，
                                            # 包括size,pid,geo,url等
        ]

        for item in keys:
            if item in key_array:
                msg[item]=data[item]

        #糅合 id , mid , msg_id
        if 'id' not in keys:
            if 'mid' in keys:
                msg['id']=data['mid']
            elif 'msg_id' in keys:
                msg['id']=data['msg_id']

        if 'attitudes_count' not in keys and 'like_count' in keys:
            msg['attitudes_count']=data['like_count']

        # created_at
        if 'created_at' in keys:
            if data['created_at'].__len__()>14:
                msg['created_at']=data['created_at']
            else:
                if 'created_timestamp' in keys:
                    stamp=data['created_timestamp']
                    x=time.localtime(stamp)
                    str_time=time.strftime('%Y-%m-%d %H:%M',x)
                    msg['created_at']=str_time
                else:
                    msg['created_at']=config.CURRENT_YEAR+'-'+data['created_at']

        # retweeted_status
        if 'retweeted_status' in keys:
            msg['retweeted_status']=self.parse_card_inner(data['retweeted_status'])
            msg['is_retweeted']=True
        else:
            msg['is_retweeted']=False

        # user
        if 'user' in keys:
            msg['user']=self.parse_user_info(data['user'])
            msg['user_id']=msg['user']['uid']
            msg['user_name']=msg['user']['name']

        # url_struct
        # msg['url_struct']=self.parse_url_struct(data['url_struct'])

        # page_info
        if 'page_info' in keys:
            msg['page_info']=self.parse_page_info(data['page_info'])

        # topic_struct
        if 'topic_struct' in keys:
            msg['topic_struct']=self.parse_topic_struct(data['topic_struct'])

        # text
        if 'text' in keys:
            msg['ori_text']=data['text']
            msg['dealed_text']=self.parse_text(data['text'])


        return msg

    def parse_user_info(self,user_data):
        keys=user_data.keys()
        user={}
        if 'id' in keys:
            user['uid']=str(user_data['id'])
        if 'screen_name' in keys:
            user['name']=user_data['screen_name']
        if 'description' in keys:
            user['description']=user_data['description']
        if 'fansNum' in keys:
            temp=user_data['fansNum']
            if isinstance(temp,str):
                temp=int(temp.replace('萬','0000'))
            user['fans_num']=temp
        if 'gender' in keys:
            if user_data['gender']=='m':
                user['gender']='male'
            if user_data['gender']=='f':
                user['gender']='female'
        if 'profile_url' in keys:
            user['basic_page']='http://m.weibo.cn'+user_data['profile_url']
        if 'verified' in keys:
            user['verified']=user_data['verified']
        if 'verified_reason' in keys:
            user['verified_reason']=user_data['verified_reason']
        if 'statuses_count' in keys:
            temp=user_data['statuses_count']
            if isinstance(temp,str):
                temp=int(temp.replace('萬','0000'))
            user['blog_num']=temp
        return user

    def parse_text(self,text):
        msg={}

        # data-url
        data_url=re.findall(self.p_link,text)
        if data_url.__len__()>0:
            data_url_list=[]
            for block in data_url:
                temp=self.parse_text_data_url(block)
                data_url_list.append(temp)
            msg['data_url']=data_url_list
        text=re.sub(self.p_link,'',text)

        # topic
        topic=re.findall(self.p_topic,text)
        if topic.__len__()>0:
            topic_list=[]
            for block in topic:
                temp=self.parse_text_topic(block)
                topic_list.append(temp)
            msg['topic']=topic_list
        text=re.sub(self.p_topic,'',text)

        # moiton
        motion=[]
        res1=re.findall(self.p_face_i,text)
        for item in res1:
            temp=re.findall(self.p_face,item)[0]
            motion.append(temp)
        text=re.sub(self.p_face_i,'',text)

        res2=re.findall(self.p_face,text)
        motion=motion+res2
        if motion.__len__()>0:
            msg['motion']=motion
        text=re.sub(self.p_face,'',text)

        # user
        user=[]
        user_res=re.findall(self.p_user,text)
        if user_res.__len__()>0:
            for item in user_res:
                temp=self.parse_text_user(item)
                user.append(temp)
            msg['user']=user
        text=re.sub(self.p_user,'@',text)

        msg['left_content']=text.split('//')
        return msg

    def parse_text_data_url(self,text):
        link_data={}
        link_data['type']='data_url'

        try:
            res_face=re.findall(self.p_face_i,text)[0]
            res_img=re.findall(self.p_img,res_face)[0]
            res_http=re.findall(self.p_http_png,res_img)[0]
            link_data['img']=res_http

            res_class=re.findall(r'<i.+?>',text)[0]
            link_data['class']=res_class

            text=re.sub(self.p_face_i,'',text)
        except:
            pass

        try:
            res_span=re.findall(self.p_span,text)[0]
            title=re.findall(r'>.+?<',res_span)[0][1:-1]
            link_data['title']=title
            text=re.sub(self.p_span,'',text)
        except:
            pass

        try:
            data_url=re.findall(r'data-url=".+?"',text)[0]
            data_url=re.findall(r'".+?"',data_url)[0][1:-1]
            link_data['short_url']=data_url

            url=re.findall(r'href=".+?"',text)[0][6:-1]
            link_data['url']=url
        except:
            pass

        # print(text)
        # print(json.dumps(link_data,indent=4))
        return link_data

    def parse_text_topic(self,text):
        data={}

        try:
            data['type']='topic'
            data['class']=re.findall(r'class=".+?"',text)[0][7:-1]
            data['title']=re.findall(r'>.+?<',text)[0][1:-1]
            data['url']='http://m.weibo.cn'+re.findall(r'href=".+?"',text)[0][6:-1]
        except:
            pass

        return data

    def parse_text_user(self,text):
        data={}
        data['type']='user'

        try:
            data['title']=re.findall(r'>.+?<',text)[0][2:-1]
            data['url']= 'http://m.weibo.cn'+re.findall(r'href=".+?"',text)[0][6:-1]
        except:
            pass

        return data

    def parse_url_struct(self,data):
        url_struct=[]
        for block in data:
            keys=block.keys()
            new_block=block
            url_struct.append(new_block)
        return url_struct

    def parse_page_info(self,data):
        keys=data.keys()
        key_array=[
            'page_url',
            'page_id',
            'content2',
            'tips',
            'page_pic',
            'page_desc',
            'object_type',
            'page_title',
            'content1',
            'type',
            'object_id'
        ]
        msg={}
        for item in keys:
            if item in key_array:
                msg[item]=data[item]
        return msg

    def parse_topic_struct(self,data):
        msg=[]
        for block in data:
            keys=block.keys()
            temp=block
            if 'topic_title' in keys:
                temp['topic_url']='http://m.weibo.cn/k/{topic}?from=feed'\
                    .format(topic=block['topic_title'])
            msg.append(temp)
        return msg