原创 使用spark讀取hadoop文件的具體內容

文章目錄pom.xml具體代碼以及註釋       在一些情景下,需要用spark讀取hadoop的文件的具體內容,這裏做一下簡單介紹。 pom.xml       pom.xml如下: <dependencies> <depe

原创 Java,Scala - 使用代碼統計hadoop中hdfs的文件大小以及文件夾大小

文章目錄一些配置和前提說明hadoop的一些說明代碼的一些說明pom.xml獲取行數使用FileSystem獲取文件行數使用spark獲取hdfs 文件的條數獲取大小第一種解決辦法:使用getBytes()第二種解決辦法:使用li

原创 java 使用FileSystem讀取hadoop文件

文章目錄pom.xml具體代碼以及註釋       在一些情景下,需要用java讀取hadoop的文件的具體內容,而不是把文件複製到本地。 pom.xml       pom.xml如下: <dependencies> <dep

原创 PostgreSQL如何建立自增主鍵

文章目錄一、 準備工作二、 創建序列達到自增的效果1. 創建序列2. 序列的相關方法3. 插入數據4. 設置默認值三、使用SERIAL1. 建表語句2. 插入數據              以前建立自增主鍵都是用mysql建的,只

原创 查看PostgreSQL數據庫中所有表 - 注意的事項 -- 爲什麼使用sql查詢所有表報錯

文章目錄查詢所有的數據庫查詢指定schema下的表tablename 和 schemaname 是什麼?       本人新手,以前接觸的關係型數據庫無非就是mysql,oracle;最多還聽說阿里巴巴有個自研的關係型數據庫,但也

原创 flink 使用curl,通過RESTful api,上傳和刪除jar包

文章目錄使用curl發送請求舉個例子如何刪除jar包        使用curl發送請求       使用flink的過程中,需要用flink的http的api上傳jar包,於是就去翻官方文檔,但是看的有點鬱悶。後來自己試了N此,

原创 spark項目,讀取或寫入elasticSearch數據,報錯NoClassDefFoundError: org/apache/logging/log4j的解決辦法

文章目錄添加es的jar包NoClassDefFoundError: org/apache/logging/log4j/util/ReflectionUtil 的解決辦法       在用maven進行spark開發時,如果使用離

原创 如何在代碼中(java, scala)獲取hadoop集羣的配置

文章目錄使用java獲取 hadoop集羣的配置使用scala獲取 hadoop集羣的配置貼一下pom.xml 使用java獲取 hadoop集羣的配置       正常情況下,我們應該知道自己要使用的hadoop集羣的所有配置信

原创 使用代碼(java, scala) 寫入hdfs - java寫入hdfs

文章目錄java創建文件並寫入hdfsjava寫入hdfs - 追加寫pom.xml java創建文件並寫入hdfs       在網上找了好幾個java寫入hdfs的,都是用IOUtils.copy()寫入的,最後找到了不是用I

原创 leetcode - 數據庫 - 175. 組合兩個表 - 使用left join解決。

      解題目錄 175. 組合兩個表       感覺這道題真簡單…       175題leetcode鏈接 select p.FirstName, p.lastName, a.City,

原创 hive 常用數據分析指標 - 網頁訪問數據指標 - 用戶活躍度指標 - 付費行爲指標

文章目錄一、網頁訪問數據指標1. UV (UniqueVisitor)獨立訪客2. PV(Page View)網頁瀏覽量3.(Internet Protocol)獨立IP4. BR(Bounce Rate)跳失率二、用戶活躍類數據

原创 leetcode - 數據庫 - 180. 連續出現的數字 --- 以及這道題中的一些坑,以及使用hive -- over()函數的答案。

      原題:https://leetcode-cn.com/problems/consecutive-numbers/       解題目錄 https://blog.csdn.net/weixin_42845682/ar

原创 Mysql中,1=1和 1=1=1 和 -1=-1 和 -1=-1=-1 和 5=5 和 5=5=5 有什麼區別

文章目錄一、 幾種情況1. 初始情況 1=1=12. 其他情況 5=5=53. 其他情況 -1=-1=-1二、 分析一下1. 正確的sql2. 初步分析3. 繼續分析1). 1=12). 其他情況三、 結論1. 結論2. 驗證結論

原创 關於:linux重啓後,hadoop中的表文件存在,但是hive中的表和庫卻不存在了的解決辦法

      最近想練練hive,就整了個linux的虛擬機,然後配置了單機的hadoop,下載了hive,在裏面建了一個test庫,庫裏建了幾張表。       虛擬機因爲點問題,強制重啓了一下。重啓以後,進入hive, show

原创 git的基礎學習,本地版本管理。個人認爲比較簡單易懂~

       本人陸陸續續學了很多次git,但是多次又忘了。到最後還是隻會在idea上,上傳和推送自己的修改。最近又看了一個講git講的還不錯的,至少自己隔了好多天還沒忘,所以專門記錄一下。 前傳        先說點廢話(只是想