原创 hadoop HA 實現原理
在hadoop 1.x版本中,是沒有ha的實現方式的,它只有可以看做是冷備份的Secondary NameNode來起到冷備份的作用的,當NameNode掛掉的時候,我們需要手工啓動Secondary NameNode。 那麼爲什麼
2020-06-26 16:09:51
原创 hadoop生態之---sqoop導入數據導致精度丟失
精度丟失問題 異常信息 WARN hive.TableDefWriter: Column your_column had to be cast to a less precise type in Hive 1 描述：使用Sqoop，從
2020-06-26 16:09:51
原创 spark部署方式之client 和cluster的區別
在使用spark-submit提交Spark任務一般有以下參數： ./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deploy-mo
2020-06-26 16:09:51
原创 微信小程序判斷分享的是羣還是好友 微信小程序判斷分享的是羣還是好友
最近比較流行的答題小程序通常會有這麼一個功能，分享到羣增加答題次數，分享到好友無效，那麼問題來了，我們如何能夠判斷用戶分享到的是羣還是好友呢？通過查找API文檔我發現會有這個一個東西withShareTicket 通過這個來判斷是否分享到
2020-06-26 16:09:51
原创 Hive三種去重方法，distinct,group by與ROW_Number()窗口函數
一、distinct,group by與ROW_Number()窗口函數使用方法 1. Distinct用法：對select 後面所有字段去重，並不能只對一列去重。 （1）當distinct應用到多個字段的時候，distinct必須放在開
2020-02-29 17:23:41
原创 mysql要點終極詳解
事務四大特性 原子性：不可分割的操作單元，事務中所有操作，要麼全部成功；要麼撤回到執行事務之前的狀態 一致性：如果在執行事務之前數據庫是一致的，那麼在執行事務之後數據庫也還是一致的； 隔離性：事務操作之間彼此獨立和透明互不影響。事務獨立運
2020-02-28 16:51:49