原创 windows 10安裝和配置Scala

當然,前提是按照好了JDK 8。【windows 10安裝和配置JDK8】 1、下載 以scala-2.11.4爲例。 【scala-2.11.4官方】[下載地址](https://www.scala-lang.org/downl

原创 Hive -【group by】深刻理解,以及數據傾斜、與distinct區別(去重統計)

目錄 1、數據準備 2、實例解讀 擴展知識:group by帶來的數據傾斜處理、與distinct的區別 環境 CentOS 7.5 Hadoop 2.6.5 MariaDB 5.5.60 Hive 1.2.2 1、

原创 在CentOS 7上通過tar.gz包安裝MySQL 5.7.26(非yum或rpm)

目錄 預熱 0、準備工作 -----00 取得一個乾淨的MySQL安裝環境 -----01 安裝依賴libaio -----02 下載、解壓MySQL包 -----03 添加mysql組、mysql用戶 1、安裝 MySQL 2、

原创 linux三劍客:sed (增加、刪除文本某行等等操作)

linux中的三劍客:grep、sed、awk grep 更適合單純的查找 或匹配文本 sed 更適合編輯匹配到的文本 awk 更適合格式化,對文本進行較複雜格式處理 sed (stream editor) is a non

原创 [已解決]hive啓動時,報錯:org.apache.hadoop.ipc.RemoteException...Name node is in safe mode

環境: centos 7 hadoop 2.6.5 hive 1.2.2 前提,啓動hadoop集羣,hive依賴hadoop。 啓動hive,報錯: [root@master hadoop-2.6.5]# hive Log

原创 Python 3.X | decorator/裝飾器,不再是一道難邁的坎。(含@property、@classmethod、@staticmethod詳解)

win10+Python 3.6.3 Python 裝飾器,不再是一道坎,但你得有耐心。 Python三大神器(裝飾器、迭代器、生成器)之一:decorator,是用於擴展(增加)原來函數功能的一種函數,它的特殊之處在於:其返回

原创 linux三劍客之一:awk

linux中的三劍客:grep、sed、awk grep 更適合單純的查找 或匹配文本 sed 更適合編輯匹配到的文本 awk 更適合格式化,對文本進行較複雜格式處理 awk,名稱取自它的3個創始人的姓氏的首字母:阿爾佛雷德

原创 在很多項目中看到的.xml文件什麼鬼?

關於xml的定義百度即可,但看了可能也白看,哈哈! <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0"

原创 算法的時間複雜度、空間複雜度

衡量代碼的好壞包括兩個重要的指標: 1、運行時間 2、佔用空間 時間複雜度:也稱漸進時間複雜度(asymptotic time complexity),指程序(算法)運行時間的長短 空間複雜度:space complexity

原创 通俗理解:Logistic Regression【學習筆記】

1、提出問題 比如 問題1,在信用評分模型中,如何判斷某個人的違約概率 問題2,在圖像識別領域,如何判斷一張圖片的動物是不是貓 問題3,給定某個人的體重、年齡,判斷其體脂高低 問題4,在物品詳情頁,線上一個用戶點擊進來了,如何給

原创 OLTP和OLAP有何區別?

參考-beling不琳 聯機事務處理(On-Line Transaction Processing,OLTP) 聯機分析處理(On-Line Analytical Processing,OLAP) OLTP和OLAP主要區別有:

原创 Python 3.x | 【初見】數據可視化(視覺化)工具之繪圖:matplotlib(區別:numpy、scipy、pandas、matplotlib)

環境 win 10 anaconda 4.2.0(對應python 3.5.2),是Python的一個開源發行版本,自帶numpy、pandas、matplotlib等科學包及其依賴項 在命令行窗口輸入conda list可列

原创 【解決】Windows10更新後,VMware Workstation Pro無法在windows上運行

解決步驟: 1)、Windows-【設置】-【Windows更新】-【查看更新歷史記錄】: 【查看更新歷史記錄】-【卸載更新】: 2)、【卸載更新】:雙擊最上方那個Windows更新 3)、【重啓 Windows】:

原创 Hive -【group by】深刻理解

目錄 1、數據準備 2、實例解讀 擴展知識:group by帶來的數據傾斜處理、與distinct的區別 環境 CentOS 7.5 Hadoop 2.6.5 MariaDB 5.5.60 Hive 1.2.2 1、

原创 算法(Algorithm)基礎:Python 3.x實現

目錄 1、算法概念相關 2、查找算法 2.1 線性查找 2.2 二分查找 3、排序算法 3.1 插入排序 3.2 快速排序 3.3 選擇排序 3.4 冒泡排序 3.5 歸併排序 3.6