原创 【scalaRDD轉df字段受限爲22個】
一、背景 1、在scala-2.10.x版本種，case class的元素超過22個以後即會編譯報錯 2、有些業務場景下，需要超過22個元素的值 二、如何解決 Scala提供瞭解決方案，即使用類實現Product特質 三、舉例 pack
2020-07-03 06:26:02
原创 來解決一個很棘手的問題，sparkstream我用的spark版本較新，df落地到mysql最近爆出了問題 com.mysql.jdbc.Driver does not allow create
來看下官網的demo，這裏沒有任何問題，因爲.format("jdbc")是隱式，我們無需關注driver的適用性，但是，程序後臺任然會報錯，當我們寫明用數據庫類型之後，也會出現說，無法create table as select，這個m
2020-07-03 05:39:31
7
原创 wxpy itchat 掃碼登錄微信報錯 KeyError: 'pass_ticket' 後臺報錯碼1203 爲了你的賬號安全，此微信號不能登陸網頁微信
使用itchat、wxpy模塊對接微信登陸，在掃描程序彈出二維碼後，使用手機微信掃描登陸之後報KeyError: 'pass_ticket'。 原因就是微信禁止該賬號登陸微信網頁版，如下圖： 首先搞懂原因 pyhton的
2020-07-03 05:39:31
2
原创 【解決hue只能導出10萬的限制】
1.這裏賬戶查一下。 2.修改配置文件 find / -name beeswax 選擇這個帶src的。 vim 該文件 DOWNLOAD_CELL_LIMIT = Config( key='download_c
2020-07-03 05:39:31
1
原创 ConfigParser.InterpolationSyntaxError: '%' must be followed by '%' or '(', found: "%&'" 解決
前言 在寫python程序讀取配置文件的時候，遇到了一個錯誤，記錄下解決方案。 錯誤如下： ConfigParser.InterpolationSyntaxError: '%' must be followed by '%' or '('
2020-07-03 05:39:31
53
原创 spark任務調優
一。首先我們來看一下本來的任務時間。 二。調優azkaban的job並行任務數 優化了12s，如何優化可以參看上一篇文章，本篇着重說一下spark的任務數 # default 10 but we need faster flow.n
2020-07-03 05:39:31
原创 spark開發mysql僞實時數據接入與寫入
一、寫在前頭。 早先考慮到並且調研的架構師flume或者canel等讀取mysql的binlog，但是需要mysql開啓row模式存binlog，但是目前mysql庫是已經積攢了很多業務數據，舉個例子就是批量修改一萬條，僅記錄一條upda
2020-07-03 05:39:31
原创 _bz2 缺少
報錯信息 from _bz2 import BZ2Compressor, BZ2Decompressor ModuleNotFoundError: No module named '_bz2' 解決辦法 1、安裝 yum ins
2020-07-03 05:39:31
原创 【sqoop隱藏密碼方法】
1.創建sqoop job 數據增量導入作業 但是這種方法把密碼暴露在外面，不安全 sqoop job --create myjob -- import --connect jdbc:mysql://192.168.56.1:3306/
2020-07-03 05:39:31
原创 【溫故而知新】hdfs file、RDD、Pratition、task、core、executor關係整理
一.spark中Partition，Task，core，Executor的個數決定因素和關係： 1.RDD 中有多個 Partition，Partition 是 Spark RDD 計算的最小單元，決定了計算的併發度。分區數如果遠小於集羣
2020-07-03 05:39:30
原创 【溫故而知新】Java基礎String面試題整理
1. String s1 = 'a' String s2 = 'a' s1和s2 相等嗎。 java會讓s2 指向 s1的地址，所以是相等的。 2. String s = new String("abc"); 創建了幾個對象？ 答案
2020-07-03 05:39:30
原创 【個人springboot項目】打包部署
1.jdk不說了，網上一大堆 2.mysql安裝稍微說一下 wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm yum -y
2020-07-03 05:39:30
原创 【溫故而知新】Java23種設計模式
設計模式主要分三個類型:創建型、結構型和行爲型。 其中創建型有： 一、Singleton，單例模式：保證一個類只有一個實例，並提供一個訪問它的全局訪問點 ； 應用場景：一個無狀態的類使用單例模式節省內存資源。
2020-07-03 05:39:30
原创 【個人springboot項目】Spring Boot替換啓動Logo、替換瀏覽器logo
Spring Boot替換啓動Logo 1.在src/main/resources下新建一個banner.txt 2.打開網站http://patorjk.com/software/taag 生成想要的Logo 成功。 替
2020-07-03 05:39:30
原创 【溫故而知新】hadoop常見面試題
1.hdfs寫數據流程 1.客戶端向namenode請求上傳文件，namenode檢測該文件是否已存在，父目錄是否存在，然後返回是否可以上傳。 2.客戶端請求上傳第一個block，namenode返回三個節點（dn1,dn2,dn3）。
2020-07-03 05:39:30