“全國法院失信被執行人名單”,網址:http://shixin.court.gov.cn/,可供查詢,用於懲罰失信人員。數據量有100多萬,也算是大數據了。其中身份證號已被處理,並不能直接看到全部號碼。本人承諾不將此數據用於非法用途和不正當用途,僅作爲個人學習數據處理分析的數據源,不針對任何個人和組織。
數據字段如下:
被執行人姓名/名稱
性別
年齡
身份證號碼/組織機構代碼
法定代表人或者負責人姓名
執行法院
省份
執行依據文號
立案時間
案號
做出執行依據單位
生效法律文書確定的義務
被執行人的履行情況
失信被執行人行爲具體情形
發佈時間
關注次數
數據保存爲JSON格式,比如:
{"id":1000000,"iname":"潘靖","caseCode":"(2014)鄂京山執字第00035號","age":23,"sexy":"男","cardNum":"4208211992****4513","courtName":"京山縣人民法院","areaName":"湖北","partyTypeName":"580","gistId":"(2012)鄂京山道字第162號民事判決書","regDate":"2014年02月24日","gistUnit":"湖北省京山縣人民法院道交法庭","duty":"被告賠償原告款401700元。","performance":"全部未履行","disruptTypeName":"其他有履行能力而拒不履行生效法律文書確定義務","publishDate":"2015年03月23日"}
- 1
失信人數據分爲個人、機構。
爲了能夠方便將統計結果圖表化,還是採用Zeppelin notebook來處理。
讀入數據:
val json_text = sqlContext.jsonFile("/home/zhf/Downloads/shixin_person.txt")
- 1
輸出JSON字段:
json_text: org.apache.spark.sql.DataFrame = [age: bigint, areaName: string, businessEntity: string, cardNum: string, caseCode: string, courtName: string, disruptTypeName: string, duty: string, gistId: string, gistUnit: string, id: bigint, iname: string, partyTypeName: string, performance: string, performedPart: string, publishDate: string, regDate: string, sexy: string, unperformPart: string]
- 1
將表緩存以便後續快速查詢:
json_text.registerTempTable("shixinren")
sqlContext.cacheTable("shixinren")
- 1
- 2
總記錄數:
%sql select count(*) from shixinren
- 1
1,415,577
- 1
機構數量:
#粗略地把名字長度大於5的認爲是機構
%sql select count(*) from shixinren where length(iname) >= 5
- 1
- 2
200,513
其餘的都認爲是個人。
- 1
年齡分佈:
%sql select age,count(*) from shixinren group by age order by age
- 1
可見,發生糾紛的人主要是成年人,中年人佔大多數。數據也有一些問題,可能是數據在填寫時候的失誤。
性別分佈:
%sql select sexy,count(*) from shixinren group by sexy
- 1
男性較多啊,男性從時候經濟活動的比較多。還有部分缺失性別的數據。
省份分佈:
%sql select areaName,count(*) c from shixinren group by areaName order by c desc
- 1
發生糾紛的主要是經濟大省和人口大省,一方面這些地方的經濟行爲較多,另一方面這些地方的人法律意識較強(被告的法律意識不夠強啊)。
處理案件最多的前10個法院:
%sql select courtName,count(*) c from shixinren group by courtName order by c desc limit 10
- 1
好像都是浙江的法院,然並卵啊。
責任履行情況:
%sql select performance,count(*) from shixinren group by performance
- 1
不履行責任的原因:
%sql select disruptTypeName,count(*) c from shixinren group by disruptTypeName order by c desc limit 10
- 1
看來不履行法院判定的責任並不是沒有能力啊。
不履行責任的姓氏TOP20:
%sql select substr(iname,0,1),count(*) c from shixinren where length(iname) <3 group by substr(iname,0,1) order by c desc limit 20
- 1
爲了方便,不統計複姓。排前的都是常見的姓氏。
法院立案的年份:
%sql select substr(regdate,0,4),count(*) c from shixinren group by substr(regdate,0,4)
- 1
近年來數量逐步增加,可不是好事啊。同樣數據有少量錯誤。
立案月份分佈:
%sql select substr(substr(regdate,6,6),0,2),count(*) c from shixinren group by substr(substr(regdate,6,6),0,2)
- 1
全年分佈均勻,1月份最多,可能是到年頭了,還不還款,只好到法院解決(沒想到最後還是沒能解決!)。
一個人/機構多次作爲被告的情況:
#姓名、證件號碼一致就認爲是同一個被告了
%sql select count(*) from (select iname,cardNum,count(*) c from shixinren group by iname,cardNum having c>1)t
- 1
- 2
187,020
- 1
前10:
%sql select iname,cardNum,count(*) c from shixinren group by iname,cardNum having c>1 order by c desc limit 10
- 1
竟然有這麼多,這種時候主要還是公司,但也有“牛人”啊。
其中,案件的【生效法律文書確定的義務】如果通過分詞,再統計詞頻,就可以知道哪些事件發生欠款的比較多了,用SQL的話,需要寫UDF來分詞,這裏就不處理了。
轉載地址:http://lib.csdn.net/article/spark/63646