原创 svn服務支持網頁顯示並增加在線預覽功能,支持視頻在線播放,可在公司內部作爲文檔管理使用 kkFileView對接svn服務完成文件在線預覽功能

1.svn服務器支持網頁顯示 VisualSVN Server是一個非常不錯的SVN Server程序,方便,直觀,用戶管理也異常方便。不過,它本身並沒有提供在線修改密碼的功能。由於在實際使用過程中,一旦SVN的用戶比較多,只單單依靠win

原创 kkFileView部署到windows服務出現問題解決 kkFileView對接svn服務完成文件在線預覽功能

1.部署之後執行出現api-ms-win-crt-runtime-l1-1-0.dll丟失的辦法 微軟官網下載vc_redist.x64.exe vc_redist.x86.exe 64位的操作系統需要安裝這兩個文件,安裝之後發現安裝失

原创 kkFileView對接svn服務完成文件在線預覽功能 kkFileView部署到windows服務出現問題解決

1.需求: 之前在公司內部搭建了svn服務器,給部門存放文檔、視頻,做成了一個文檔服務器來用,隨着視頻文件太大,每次下載太慢 需要把文件在線打開查看 2.解決: kkFileView https://kkfileview.keking.cn

原创 TDH中inceptor監控界面詳解-task、core、stage關係

inceptor監控界面說明 job監控界面 jobs 代表單獨的sql job,一個sql進來之後會形成一個job,下面顯示的有正在執行的job,完成的job,失敗的job stages 代表階段,一個sql進來之後會拆分成不同的階

原创 dolphinscheduler本地部署調試及對接星環TDH-inceptor組件用於sql查詢(三)

接着上次調試的過程部署時候,發現dolphinscheduler連接tdh時候validationQuery還是select 1 這裏懷疑可能是由於dolphinscheduler存在硬編碼問題,修改了代碼也不生效   我們這樣改代碼: d

原创 dolphinscheduler本地部署調試及對接星環TDH-inceptor組件用於sql查詢(二)

一.系統版本說明: 星環TDH5.2.4 dolphinscheduler 版本2.0.3 二,部署 參考https://www.cnblogs.com/djlsunshine/p/13214539.html 修改對應的配置即可  版本2.

原创 dolphinscheduler最新版2.0.2+mysql8.0.16部署(一)

1. 下載dolphinscheduler 下載地址https://dolphinscheduler.apache.org/en-us/download/download.html 下載版本爲:src源碼,需要重新編譯 查看pom.xml對

原创 循環通過逗號分隔的shell變量

假設我有一個Unix shell變量,如下所示 variable=abc,def,ghij 我想使用for循環提取所有值(abc,def和ghij),並將每個值傳遞給一個過程。 腳本應允許從$ variable中提取任意數量的逗號分隔值。

原创 TDH一次因爲節點刪除報出來的sqoop導出數據報錯

報錯信息:ipc.client , server:htzq-tdh01:10020.Already tried 9 times原因分析:由於集羣刪除該節點htzq-tdh01導致下游系統使用sqoop做數據採集、推送報錯,sqoop用到hd

原创 星環TDH之kafka筆記

1.kafka開通krb認證之後,需要在消費kafka時候加載配置文件./kafka-topics.sh --zookeeper 198.28.1.81:2181 --create --topic hs_user_useroperlog -

原创 hdfs fsck / 檢查hdfs中block問題

遷移hdfs節點過程中,退役datanode節點,出現這個問題:使用命令檢查block報告hdfs fsck /返回結果截圖如下:參數說明:Total size : hdfs集羣存儲大小,不包括複本大小。如:75423236058649 B

原创 html2canvas + jsPDF 導出PDF,解決一半文字在上一頁一半文字在下一頁的問題

html頁面轉pdf下載 兩個js文件可供使用,地址如下: https://github.com/linwalker/render-html-to-pdf 唯一的缺點是圖片跨頁不好解決,最終的pdf文件如下:   解決下載pdf文件背景是

原创 元數據比對-altas vs amundsen vs TDH-catalog(一)

一、 Altas屬於apache開源的元數據管理系統,可以對接hive、storm、kafka、hbase、sqoop等組件完成元數據管理以及數據的血緣關係。系統架構圖:MetaSource Sources:目前,Atlas支持從以下來源提

原创 元數據比對-altas vs amundsen vs TDH-catalog(三)

Lyft 於2019年4月開發了Amundsen,並與10月開源。git項目地址:https://github.com/amundsen-io/amundsen安裝說明:https://github.com/amundsen-io/amun