原创 利用SPSS做數據分析②之數據處理2

接着上一篇數據處理的內容,我們今天一起來學習【數據合併、分組、標準化】: 1、數據合併(記錄合併) 記錄合併也叫縱向合併,是將具有共同的數據字段、結構,不同的數據表記錄,合併到一個新的數據表中。 現在有兩張表,一張“用戶明細-男

原创 利用SPSS做數據分析②之數據處理1

SPSS數據處理有六個步驟,分別是: 數據導入 數據清洗 數據抽取 數據合併 數據分組 數據標準化 數據處理是根據數據分析的目的,將收集到的數據,用適當的處理方法進行加工、整理,形成適合數據分析的要求樣式,它是數據分析前必

原创 作爲數據分析師一定要知道的推斷分析(參數估計)

申明:文章內容是作者自己的學習筆記,教學來源是開課吧講師梁勇老師。 不要槓,開心學習! 推斷統計是研究如何利用樣本數據來推斷總體特徵的統計方法。參比如,要了解一個地區的人口特徵,不可能對每個人的特徵一一進行測量,對產品的質量進行檢

原创 敲黑板啦!開窗函數你學會了嗎

特徵分析與偏移分析什麼是開窗函數?學習目標:1、累計計算窗口函數(1)sum(…) over(……)(2)avg(…) over(……)(3)語法總結:2、分區排序窗口函數3、分組排序窗口函數4、偏移分析窗口函數練習總結: 什麼是

原创 HiveSQL例題-常用函數與基礎語法講解

我們通過一些簡單的案例來講解Hive的常用基礎語法以及一些常用的函數。 學習目標: 1. 掌握HIVE基礎語法、常用函數及其組合使用 2. 掌握一些基本業務指標的分析思路與實現技巧 1、基礎語法: SELECT …A… FROM

原创 XShell如何上傳文件到Linux服務器

在操作Hive或者Linux時,我們常常需要將本地文件上傳到Linux主機上,下面分享如何使用XShell工具進行文件的傳輸。 1、首先連接Linux主機 2、輸入rz命令,看是否已經安裝了lrzsz 如果沒有安裝則執行 yu

原创 數據分析師必備Excel常用函數技能(上)

Excel是我們工作中經常使用的一種工具,對於數據分析來說,這也是處理數據最基礎的工具。 Excel函數分類: 關聯匹配類、清洗處理類、邏輯運算類、計算統計類、時間序列類 目錄1、關聯匹配類(1)VLOOKUP(2)HLOOK

原创 數據分析師一定要掌握的基礎——描述性統計分析

申明:文章內容是作者自己的學習筆記,教學來源是開課吧講師梁勇老師。 以下博客內容講解了描述性統計分析的所有知識點,以及利用鳶尾花數據集的分析加強對各個統計量的理解。 數理統計基礎-描述性統計分析1、數理統計基礎2、描述性統計分析概

原创 Hadoop的shell常用操作

1.啓動/關閉Hadoop集羣 start-all.sh/stop-all.sh 2.查看HDFS上的文件和目錄 hadoop fs -ls -R / 3.在HDFS上創建文件夾 hadoop fs -mkdir -p /

原创 Hive與傳統數據庫的比較

1、Hive是什麼? 基於Hadoop的開源的數據倉庫工具,用於處理海量結構化數據。 Hive把HDFS中結構化的數據映射成表。 Hive通過把HiveSQL進行解析和轉換,最終生成一系列在hadoop上運行的mapreduce

原创 高效辨別Hive的靜態和動態分區

Hive分區: 1、Hive中有分區表的概念,我們可以看到分區具有重要性能優勢,分區表可以將數據以一種符合邏輯的方式進行組織,比如分層存儲。 2、查詢分區表中的數據時,除非where語句中包含分區字段過濾條件來顯示數據範圍,否則

原创 數據分析師必備Excel常用函數技能(下)

上一篇分享了關聯匹配類和清洗處理類,我們這篇來講下Excel 分類中的邏輯運算類、計算統計類和時間序列類 上一篇關聯匹配類和清洗處理類請看這裏! 目錄1、邏輯運算類(1)IF(2)AND(3)OR2、計算統計類(1)MIN 最小值

原创 利用SPSS做數據分析①(瞭解SPSS)

話不多說,上才藝,BGM,BGM,BGMBGM。。。哈哈哈哈 不鬧了,接下來讓我們一起認識一個非常好用的數據分析工具:SPSS 1、SPSS是什麼? SPSS是廣大統計愛好者和數據分析師最熟悉的名字,它是一款在市場研究、醫學統計

原创 Hive內部表和外部表的區別及如何創建

目前所創建的表都是所謂的管理表,有時也被稱爲內部表,因爲這種表,Hive會(或多或少地)控制着數據的生命週期。 當刪除一個管理表時,Hive也會刪除這個表中的數據,管理表不方便和其他工作共享數據。 內部表(internal tab

原创 如何進行復盤分析,覆盤分析的步驟是什麼?

覆盤分析四大步驟: 回顧目標——評估結果——分析原因——總結經驗 回顧目標:當初的目的和期望是什麼; 評估結果:對照原來的目的找出過程中的亮點和不足; 分析原因:事情做成功的關鍵原因和失敗的根本原因,包括主觀和客觀兩方面;