台部落孫小白😉

問題在yarn集羣上提交一個spark-submit的任務，最後拋出一個異常解決原因：因爲在之前的項目中，在hadoop中的core-site.xml 和mapred-site.xml文件配置了lzo格式的壓縮，這就導致上傳到hd

2021-06-08 13:57:27

集合中的zip：如果兩個集合的元素個數不相等，那麼會將同等數量的數據進行拉鍊，多餘的數據省略不用 RDD算子的zip：該操作可以將兩個RDD中的元素，以鍵值對的形式進行合併。其中，鍵值對中的Key爲第1個RDD中的元素，vaue爲第2個

2021-03-29 13:59:32

分別觀察一下集合與算子的sortBy()的參數列表普通集合的sortBy() RDD算子的sortBy() 結論：普通集合的sortBy就沒有false參數，也就是說只能默認的升序排。如果需要對普通集合中的元素需要升序排怎麼辦？

2021-03-29 13:59:32

@目錄瞭解json整體格式轉換格式提取key和value使用pandas寫入csv 瞭解json整體格式這裏有一段json格式的文件，存着全球陸地和海洋的每年異常氣溫(這裏只選了一部分)：global_temperature.json {

2021-03-23 14:03:43

Java -private 只能在當前類中被訪問 -default(默認) 當前類以及同包的其他類 -protected 當前類以及同包

2021-03-22 18:35:44

@目錄函數可以作爲值進行傳遞函數可以作爲參數進行傳遞函數可以作爲返回值進行返回閉包柯里化什麼是匿名函數函數可以作爲值進行傳遞語法var f = 函數名 _ 如果明確了變量的數據類型，那麼下劃線可以省略 //函數正常的聲明與調用

2021-03-22 18:35:40

1.return可以省略，Scala會使用函數體的最後一行代碼作爲返回值 2.如果函數體只有一行代碼，可以省略花括號 3.返回值類型如果能夠推斷出來，那麼可以省略（:和返回值類型一起省略） 4.如果有return，則不能省略返回值類型，必

2021-03-22 18:35:35

@目錄數據提供輸出字段解法一解法二建表導數據驗證數據解決方案-使用解法二結果思路這個問題可以擴展到很多相似的問題：連續幾個月充值會員、連續天數有商品賣出、連續打車、連續逾期…… 數據提供用戶ID、登入日期 user01,2018

2021-03-22 18:35:32

羣起包括：第一步啓動exec 此時這列的值爲0，下一步激活後變成1 第二步激活exec 第三步打開web頁面腳本代碼（注意修改自己的主機名和安裝路徑） #!/bin/bash start-web(){ for i

2021-03-22 18:35:13

兩種方式，分別查詢數據有多少行： hive (gmall)> select * from ods_log; Time taken: 0.706 seconds, Fetched: 2955 row(s) hive (gmall)> sel

2021-03-22 18:34:45

衆所周知，csv文件默認以逗號“,”分割數據，那麼在scala命令行裏查詢的數據：可以看見，字段裏就包含了逗號“,”，那接下來切割的時候，這本應該作爲一個整體的字段會以逗號“,”爲界限進行切割爲多個字段。現在來看看這裏的_c0字段一共

2021-01-30 13:57:52

@目錄發現問題解決問題找到根源根治問題必看發現問題在瀏覽器輸入secondaryNamenode的網址後不能顯示，解決：先按F12，然後選擇console，就能看見報錯信息了：解決問題找到根源那就通過find命令找到這個dfs

2021-01-29 13:58:02

@目錄Kafka壓測Kafka Producer（生產）壓力測試Kafka Consumer（消費）壓力測試計算Kafka分區數Kafka機器數量計算 Kafka壓測用Kafka官方自帶的腳本，對Kafka進行壓測。Kafka壓測時，可以

2021-01-28 13:57:47

@目錄一、 Centos6和Centos7 防火牆命令的區別iptables常用命令firewall常用命令一、 Centos6和Centos7 防火牆命令的區別 Centos6自帶的防火牆工具是iptables Centos7自

2021-01-28 13:57:47

@目錄login shellnon-login shell它們的區別 Linux的環境變量可在多個文件中配置，如/etc/profile，/etc/profile.d/*.sh，~/.bashrc等，下面說明上述幾個文件之間的關係和區別。

2021-01-26 13:58:02