原创 load pdf file error :progress number can't return

註明:此篇是記錄使用vue的pdf開源組件時遇到的問題--不能獲取加載服務器文件進度,但是加載本地PDF文件可以獲取進度,問了github原作者沒有回覆,自己又改不動源碼,於是放棄了顯示加載進度條的功能。 load local PDF f

原创 IntelliJ IDEA使用debug模式啓動應用報錯: java.net.BindException "Address already in use: JVM_Bind"

Unable to open debugger port (127.0.0.1:51030): java.net.BindException "Address already in use: JVM_Bind 問題截圖 此問題的原因是另

原创 Spark/Scala/SparkSQL問題記錄:使用Scala語言遍歷DateFrame/DataSet數據集裏的每一行、每一列

在貼代碼之前先介紹一下DataFrame與DataSet,以下介紹內容來自以下博客:https://www.cnblogs.com/seaspring/p/5831677.html DataFrame DataFrame是一個分佈式集合,

原创 IntelliJ IDEA破解後遇到軟件更新重新update安裝後打不開IntelliJ IDEA解決方法

查看網上教程破解了IntelliJ IDEA軟件,本機系統是Windows 10,用的是JetbrainsIdesCrack-4.2-release.jar文件來破解。 jar文件下載地址:http://idea.congm.in/ 使用

原创 學習記錄:Scala解析ElasticSearch RestfulAPI返回的JSON字符串並提取內容轉換成DataFrame

由於需要從返回報文裏面解析JSON字符串 並提取內容,學習了下相關API用法 需要解析的JSON字符串格式如下所示: { "took": 13, "timed_out": false, "_shards": { "t

原创 學習記錄:Scala通過ElasticSearch RestfulAPI使用scroll查詢數據

在一次本地IDE調試運行數據處理任務時,需要全量查詢數據再轉換成DataFrame進行操作,但因爲ElasticSearch默認設定一次查詢的最大條數是10000,因此沒法一次查詢全量數據。查詢了資料後發現可以使用scroll(滾動)查詢

原创 問題記錄:從EXCEL2013導入數據CSV文件,提示報錯“此文本文件包含的數據無法放置在一個工作表中。如要繼續導入可容納的數據,請單擊確定。。。”

使用的工具是:MicrosoftOffice Excel 2013、Notepad++ v7.5.8 Spark數據處理任務生成了CSV格式的數據文件,然後要手動將CSV數據轉換成excel文件,爲了能識別分隔符自動分列以及中文不亂碼:新

原创 問題記錄:Linux系統中HDFS文件夾或文件帶有轉義字符"\"如何進入或操作

有一次文件夾命名失誤,導致文件夾的名字變成了“2015\”,也就是說文件夾名字帶有轉義字符,然後又需要在命令行操作這個文件夾(使用HDFS命令複製或移動文件到本地),如果不對命令做特殊標註,HDFS識別不了,參考了一下文章後學會了操作帶有

原创 Spark/Scala/SparkSQL問題記錄:使用Scala語言遍歷DateFrame/DataSet數據集裏的每一行

在貼代碼之前先介紹一下DataFrame與DataSet,以下介紹內容來自以下博客:https://www.cnblogs.com/seaspring/p/5831677.html DataFrame DataFrame是一個分佈式集合,

原创 ElasticSearch權威指南學習問題記錄(2):測試自定義分析器時報錯contains unrecognized parameter: [analyzer]

官方文檔地址爲:https://www.elastic.co/guide/cn/elasticsearch/guide/current/custom-analyzers.html 定義好新分析器後,按照文檔進行測試,其中原文後面分析字符串

原创 問題記錄:本機無法通過xshell連接在虛擬機安裝的ubuntu-18.04.1系統

虛擬機軟件:VMware Workstation 15 Pro ubuntu系統:ubuntu-18.04.1-desktop-amd64 xshell版本:  xshell 4        由於要學習spark以及scala,找到的入

原创 ElasticSearch權威指南學習問題記錄(1):設置 ctx.op 爲 delete 來刪除基於其內容的文檔的curl執行錯誤

使用的ElasticSearch版本是6.4.2 原文:https://www.elastic.co/guide/cn/elasticsearch/guide/current/partial-updates.html 我們甚至可以選擇通過

原创 問題記錄:oracle數據庫密碼到期提醒導致項目啓動報錯

嚴重 [RMI TCP Connection(5)-127.0.0.1] org.apache.catalina.core.StandardContext.startInternal One or more listeners fail

原创 如何查詢oracle數據庫一個表中的多條記錄是否有重複

原文鏈接:http://blog.chinaunix.net/uid-16175364-id-2752272.html如何查詢oracle數據庫一個表中的很多條記錄是否有重複?重複的判斷標準是指定爲幾個字段中只要有任意的一個字段中有重複就

原创 Oracle Decode函數用法

轉載https://jingyan.baidu.com/article/c45ad29cf08673051753e28b.html①DECODE函數是ORACLE PL/SQL是功能強大的函數之一,目前還只有ORACLE公司的SQL提供了