原创 大數據基礎-搞懂linux的$,${},|,||和&&和&使用,輸入輸出重定向
1.$ 當你想要調用一個變量val時,我們對其進行標註$val,告訴計算機val是變量,而不是一個普通字符串 2.${} 還是調用變量,但是加花括號是爲了幫助解釋器識別變量的邊界，比如下面這種情況: for skill in Ad
2020-06-29 04:04:35
原创 Kafka-Callback回調接口
1. 什麼是Callback其使用場景是什麼? 在這個send方法中我們看到需要傳入兩個參數,而第二個參數是一個Callback Callback是一個回調接口:用戶可以實現的回調接口Callback，以允許在請求完成時執行實現
2020-06-29 04:04:35
原创 python-股票量化-雙均線策略(如何讀取數據?,股票漲跌幅/漲跌停/復權計算,繪製股票資金曲線k線如何標記雙均線策略信號,持倉分組標記及漲跌幅分析,績效指標計算及調參方法,用循環調整週期參數)
炒股的人通常都喜歡各種技術指標,來指定買賣策略,然而我們卻經常看到股民們虧錢，難道是這些指標有問題嗎？還是專家在忽悠股民朋友們？將以非常簡單的均線指標爲例，來挖掘其在一隻股票上的績效潛力。 實現流程的簡單梳理 1.讀取數據,瞭解數
2020-06-29 04:04:35
原创 Hive-CDH-5.14.2添加Hive
共七步一步也不能少,按照步驟進行,是一定可以添加成功的!!! 目錄標題1.分發mysql-connector2.CDH添加Hive服務3. 對hive-site.xml進行修改4.進行mysql進行操作5.使用hive的Schem
2020-06-29 04:04:35
原创 大數據組件-sparkSQL是什麼,應用場景,編寫流程,DataSet和DataFrame
1.sparkSQL是什麼 sparkSQL主要是爲了降低一些數據工作者使用門檻的降低,讓一些科學家去編寫一大堆代碼是不現實的,所以產生了SQL查詢模式 2.sparkSQL應用場景 老的sparkcore的入口API是Spark
2020-06-29 04:04:35
原创 python-pyecharts實現數據分析-超細緻流-逐行註解
分析思路 1.每日新增數據 : 今日新增確診 = 今日確診病例-昨日確診病例 2.確診病例增長率: 今日確診病例增長率 = 今日確診新增/昨日確診病例 3.累計確診病例:柱形圖 4.確診病例增長率:折線圖 5.多圖合併 impo
2020-06-29 04:04:25
原创 大數據組件-什麼是RDD,saprkRDD分區和Shuffle,緩存,Checkpoint
目錄標題什麼是RDDRDD分區以及Shuffle操作1.查看分區的手段(1)使用partitions查看(2)使用webUI頁面查看2.通過算子指定分區數3.Spark 中的 Shuffle 操作的特點RDD的緩存1.RDD緩存作
2020-06-29 04:04:25
原创 大數據組件-hbase簡介架構,hbase集羣搭建,高可用配置,表模型,hbase shell操作,javaAPI操作,創建表,向表添加數據,查詢數據,過濾器查詢,刪除表
環境統一: zk: hadoop:2.7.5 HBase:2.0.0 ssh軟件:Bitvise 1.Hbase簡介 hbase依賴於hdfs,非關係型數據庫 是一種稀疏表結構(稀疏表就是空行並不佔用磁盤空間) hbase當中所有
2020-06-02 20:12:03
原创 大數據組件-HBase和MapReduce的集合,讀取HDFS到HBase,hive和HBase整合,HBase的預分區
1.HBase和MapReduce的集成 HBse集成MR的中文API文檔 需求:將myuser表當中的f1列族的name和age字段寫入待myuser2這張表的f1列族當中去 ImmutableBytesWritable 序列,
2020-06-02 20:12:03
1
原创 大數據組件-Apache Sqoop,工作機制,安裝配置,全量增量導入到hdfs,hive數倉,導出
版本規劃: jdk 1.8.0_141 zookeeperk目錄標題Sqoop適用場景Sqoop工作機制Sqoop安裝1. 解壓安裝sqoop2. 配置文件修改3. 加入mysql的jdbc驅動4. 配置環境變量5. 驗證啓動Sq
2020-06-02 20:12:02
原创 大數據組件-redis概念,數據結構,命令行操作,持久化,java客戶端的Jedis操作,連接池JedisPool,實現連接池工具類
目錄標題1.redis概念2.下載安裝3.redis數據結構4.redis命令行操作(1)字符串類型 string(2)哈希類型 hash(3)列表類型 list(4)集合類型 set:不允許重複元素(5)有序集合類型sorted
2020-06-02 20:11:52
原创 數據庫基礎-mysql相關操作速查表
使用軟件DataGrip 2018.2.1-x64 目錄使用xxx數據庫創建商品表操作插入商品數據操作查看錶操作刪除表操作修改表-修改的是表的字段查看錶內容查看錶有多少行更新表中的數據==修改表中數據刪除數據操作刪除操作del
2020-06-02 20:11:52
原创 大數據組件-Kafka的javaAPI操作,Kafka StreamingAPI開發,
1.KafkaJavaApi操作 1.添加maven依賴 <dependencies> <dependency> <groupId>org.apache.kafka</groupId>
2020-06-02 20:11:52
原创 javaWeb-HTML
目錄標題1.HTML(1)HTML使用場景(2)標籤分爲(3)文件標籤(4)文本標籤1.特殊字符編碼表2.文本標籤案例(5)圖片標籤(6)列表標籤(7)連接標籤(8)語義化標籤3.表單項標籤(1)input :可以通過type屬性
2020-06-02 20:11:52
原创 大數據組件-Hive簡介,分層架構,安裝方式,hive交互,數據庫,數據表操作,自定義hive函數,hive數據存儲,hive調優
目錄標題Hive的簡介爲什麼用HiveHive的分層架構Hive的安裝1.上傳並解壓安裝包2.安裝mysql3.修改Hive的配置文件4.添加mysql的驅動包到Hive的lib目錄下5.配置Hive環境變量Hive交互1.bin
2020-06-02 20:11:52
1