原创 MySQL從刪庫到跑路(0):序章

前言 大數據時代,人類的衣食住行等相關的活動,都已經被各大公司抽象成一條條數據存放到了分佈在世界各地大大小小的數據中心當中,hadoop、hive、sqoop、spark、hbase、kafka、flume、zookeeper……

原创 MySQL從刪庫到跑路(5):in and not

 “哈哈哈哈,看你這幾天沒來上課,我還以爲你去拜什麼高人爲師了?原來就是這個爛番薯、臭鳥蛋的小賣部大爺學裝逼,你逗我玩呢?哈哈哈哈哈”  “哈哈哈哈,一個老屌絲,一個小屌絲,死一邊去吧!”  望着班長、學習委員、紀檢委員離去的背影

原创 pandas多行合併成一列

前言 作爲 一個無法拒絕女生請求的屌絲,在發誓再也不幫女生處理問題十天後,在下破戒了。事情要從一個excel文件和一個漂亮小姐姐同事那裏說起。 話說有個漂亮的姐姐正在因爲一個數據處理問題而發愁,見她柳眉輕蹙,淚眼汪汪的樣子,在瞭解

原创 MySQL從刪庫到跑路(12):數據類型——數據世界的基本規則

 風,秋風,蕭瑟的秋風。  葉,落葉,枯黃的落葉。  蕭瑟的秋風捲起枯黃的落葉,秋意漸濃,愁意更濃。  秋在心上便是醜,在這悲涼的秋風中,朱三衡心中有說不出的愁。  他怎麼也想不通,作爲學校扣籃王的他竟然會在他引以爲傲的籃球上,輸

原创 MySQL從刪庫到跑路(11):update——修改身高、顏值,人不風流枉少年

 校園中央廣場上,一年一度的裝逼大會如期舉行,同往常一樣,廣場中央一大早就擠滿了密密麻麻的人羣,今年廣場上人雖多,但是卻出奇的安靜,只有一個人的聲音在廣場四周迴盪。  我生從何來,死往何處?我爲何要出現在這個世界上?我的出現對這個

原创 MySQL從刪庫到跑路(10):case when——國色天香、傾國傾城,給漂亮小姐姐分個類

 一生一代一篇文,爭教兩處銷魂。上回說到,李有爲跟着小賣部大爺,裝逼界的傳奇人物逼神阿六敦學了一招group by分組後自以爲可以縱橫天下,然而很快,他便發現人外有人、天外有天,強中還有強中手,一山還比一山高。  本以爲自己無敵於

原创 MySQL從刪庫到跑路(8):聚合函數——讓我們來統計一下漂亮妹子的信息

 “李有爲,我且問你,human_base_info表面,顏值最高的妹子能有多高?”  聽完大爺的話,李有爲的嘴角情不自禁地綻開了一抹不易察覺的瀟灑而自信的笑容,“大爺,雖然你沒有給我講給排序,但是我下來已經偷偷學了,用order

原创 MySQL從刪庫到跑路(7):連接查詢,用聯繫的觀點看女神與渣男

 "有爲,能陪我說說話麼?”  望着梨花帶雨的女神,一時間李有爲陷入了恍惚之中,儘管心裏已經千萬次告誡自己要遠離面前的女人,可是當她真的出現在面前時,李有爲的大腦早已一片空白。  "難道他又欺負你了嗎?"李有爲吞吞吐吐道。  “不

原创 MySQL從刪庫到跑路(9):group by——給漂亮小姐姐分個組

 上回說到,李有爲學會了五個聚合函數,自那以後,誰是這個世界上最漂亮的人,誰是這世界上最高的人,誰是這個世界上最重的人,都逃不過她的火眼金睛,然後大爺的一個問題又讓李有爲陷入了難題的泥沼當中,在這個花花世界裏,擁有沉魚落雁之容,閉

原创 記一次nginx 499 引發的血案

 我是公司的一塊磚,哪裏需要往哪搬。如果研發人不足,數據也可做後端。  數據組老大離職,一堆數據接口代碼等待人來接管,我天天祈求這些代碼不要出問題,然後美夢就成真了,今天,其中一個提供關鍵詞的接口慢的一批.  恰逢此時,領導在我背

原创 MySQL從刪庫到跑路(6):子查詢

 “小夥子,今天你怎麼不開心?”  “前輩,今天我看見了一個漂亮姑娘,淡黃色的長裙,蓬鬆的頭髮,她是那麼的漂亮,我是那麼的卑微……”  “你是不是像知道那姑娘姓甚名誰,芳齡幾何,可否婚配,這樣即便是無法與她共結良緣,你也死而無憾!

原创 Flume寫入hive報錯flume.SinkRunner: Unable to deliver event. Exception follows has been closed()

 門外柳花飛,女神猶未歸。  今年五二零,依舊空落淚。  2020年5月20日下午兩點,上午請假的女生重新回到了公司。今天,女神穿了一件波西米亞長裙,“足下躡絲履,頭上玳瑁光。腰若流紈素,耳著明月璫。指如削蔥根,口如含朱丹。纖纖作

原创 sparksql出現 serious problem at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.generateSplitsInfo

問題  今天一大早給運營小妹用sparksql跑埋點數據,但是sparksql卻給我拋了這麼一個東西。 select source, version, count(1) as num from app.app_recor

原创 MySQL從刪庫到跑路(5):where之再向虎山行

where之再向虎山行  “哈哈哈哈,看你這幾天沒來上課,我還以爲你去拜什麼高人爲師了?原來就是這個爛番薯、臭鳥蛋的小賣部大爺學裝逼,你逗我玩呢?哈哈哈哈哈”  “哈哈哈哈,一個老屌絲,一個小屌絲,死一邊去吧!”  望着班長、學習

原创 MySQL從刪庫到跑路(4):tell me where do i find someone like you girl?

 “多情自古空餘恨,此恨綿綿無絕期。“  又是一個陽光明媚的早晨,秋高氣爽,天高雲淡,可是李有爲的心裏卻被蒙上了一層厚厚的陰霾。  古詩有云:“莫言下嶺便無難,賺得行人錯喜歡。正入萬山圈子裏,一山放過一山欄。“李有爲所處的似乎就是