原创 區塊鏈概念及簡單介紹
友情提醒：比特幣採用區塊鏈技術，但是區塊鏈並不等同於比特幣；全篇基於比特幣底層區塊鏈技術講述，所以，部分模型可能不適用於以太坊等。另外，由於文章採用了一定的抽象、類舉的敘事方式，中間或多或少有些地方會跟區塊鏈底層嚴謹的技術實現有出入，如果
2020-07-06 08:26:32
原创 Hive詳細介紹及簡單應用
1. Hive基本概念1.1 Hive簡介1.1.1 什麼是HiveHive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射爲一張數據庫表，並提供類SQL查詢功能。1.1.2 爲什麼使用Hive1.） 直接使用hadoo
2020-07-06 08:26:32
1
原创 網站統計中的數據收集原理及實現(js埋點實現)
網站統計中的數據收集原理及實現網站統計 埋點 Web Openresty網站數據統計分析工具是網站站長和運營人員經常使用的一種工具，比較常用的有谷歌分析、百度統計和騰訊分析等等。所有這些統計分析工具的第一步都是網站訪問數據的收集。目前主流
2020-07-06 08:26:32
原创 String.format()的詳細用法，詳細說明+示例
問題場景 一段字符串的中間某一部分是需要可變的，JAVA裏有專門的實現方式 String.format()字符串常規類型格式化的兩種重載方式 format(String format, Object… args) 新字符串使用本地語言環境
2020-07-06 08:26:22
原创 對Closeable和AutoCloseable的理解
目錄 Closeable和AutoCloseable的理解 背景： 一、Closeable 1.1Closeable接口源碼： 1.2使用close需要注意： 二、AutoCloseable 2.1AutoCloseable源碼 2.2.
2020-07-06 08:26:22
16
原创 設計模式(Design Pattern)詳細整理(含思維導圖)
設計模式(Design Pattern) 設計模式（Design pattern）代表了最佳的實踐，是軟件開發人員在軟件開發過程中面臨的一般問題的解決方案。這些解決方案是衆多軟件開發人員經過相當長的一段時間的試驗和錯誤總結出來的
2020-05-19 16:32:47
2
原创 工作流調度器azkaban
工作流調度器azkaban1.1 概述1.1.1爲什麼需要工作流調度系統1.一個完整的數據分析系統通常都是由大量任務單元組成：shell腳本程序，java程序，mapreduce程序、hive腳本等2. 各任務單元之間存在時間先後及前後依
2020-02-21 08:47:11
原创 sqoop原理及實戰
1. sqoop數據遷移1.1 概述sqoop是apache旗下一款“Hadoop和關係數據庫服務器之間傳送數據”的工具。導入數據：MySQL，Oracle導入數據到Hadoop的HDFS、HIVE、HBASE等數據存儲系統；導出數據：從
2020-02-21 08:47:11
原创 vmware使用自帶工具vmware-vdiskmanager精簡佔用磁盤空間
使用vmware自帶的可以收回佔用的部分空間，工具名稱是：”vmware-vdiskmanager.exe“進入vmware的安裝目錄找到vmware-vdiskmanager.exe， 運行命令即可精簡空間。vmdk文件有很多個，只需選
2020-02-21 08:47:11
原创 Flume介紹以及實戰應用
1.1 Flume介紹前言：在一個完整的大數據處理系統中，除了hdfs+mapreduce+hive組成分析系統的核心之外，還需要數據採集、結果數據導出、任務調度等不可或缺的輔助系統，而這些輔助工具在hadoop生態體系中都有便捷的開源框
2020-02-21 08:47:11
原创 Hive的客戶端界面工具–SQuirrel SQL Client--詳細安裝以及連接Hive過程
SQuirrel SQL Client是一款支持Hive的可視化工具，是市面上少數支持Hive中比較好用的，看下如何安裝使用吧，下面是非常詳細的安裝過程。1.下載客戶端SQuirrel SQL Client的官網及下載地址爲：ht
2020-02-21 08:47:11
原创 漏斗模型和路徑分析
在互聯網數據化運營實踐中，有一類數據分析應用是互聯網行業所獨有的，那就是漏斗模型和路徑分析的應用漏斗模型通常是對用戶在網頁瀏覽中一些關鍵節點的轉化程度所進行的描述，比如從瀏覽到實際購買產品都需要經歷三個步驟：瀏覽商品、將商品加入到購物車、
2020-02-21 08:47:11
原创 Hive元數據信息表
概述 作爲Hive的元數據，一般存儲在Mysql中，一般起名爲hive，管理這些元數據需要許多表，以下介紹常使用的hive元數據信息表 回到頂部 一、存儲Hive版本的元數據表（VERSION） VERSION – 查詢版本信息
2019-07-30 18:40:20
原创 String.format()的詳細用法
問題 在開發的時候一段字符串的中間某一部分是需要可變的 比如一個Textview需要顯示”XXX用戶來自 上海 年齡 21 性別 男” 其中的 XXX 是用戶名 每個用戶也是不一樣的 地區 上海 爲可變的string數據 年齡 21
2019-07-09 18:52:49
原创 【leetcode】兩數之和
工作之餘，感覺還是要加強基礎知識的掌握，於是再次進行leetcode的刷題之旅了，go！ 原題鏈接：https://leetcode-cn.com/problems/two-sum/ 方法一：暴力法 暴力法很簡單，遍歷每個元素x，並查找是
2019-07-09 18:52:49