原创 D37 python基礎
python-2.7.13 print ----區別： python3以上的print() 一、python基礎語法測試：數據類型，list，tuple，dict，set 1 # coding=utf-8 2
2020-06-20 01:03:08
原创 總結命令行07：MySQL
一、MySQL常用語句： 1mysql> alter table MyClass add passtest int(4) default '0'2 UPDATE [LOW_PRIORITY] [IGNORE] t
2020-06-19 23:46:14
原创 複習總結07：Redis
一、Redis概述： Redis是一個開源，先進的key-value存儲，並用於構建高性能，可擴展的應用程序的完美解決方案。 Redis數據庫完全在內存中，使用磁盤僅用於持久性。 相比許多鍵值數據存儲，Redis擁有一套較爲豐富
2020-06-19 23:46:14
原创 大數據各軟件框架啓動命令行
各個軟件服務的啓動命令：storm，Kafka，hive，hbase，azkaban，flume，spark，hadoop，sqoop A：Storm啓動： 先在每臺機器上啓動zookeeper：zkServer.sh start
2020-06-19 23:46:03
原创 複習總結09：Spark
一、關於Spark spark-shell：啓動 /usr/local/spark-1.5.2-bin-hadoop2.6/bin/spark-shell \ --master spark://node1.itcast.cn:7077
2020-06-19 23:46:00
原创 複習總結08：Scala基礎
一、Scala編程語法 1//1、定義一個方法2def method1(x: Int, y: Int): Int = {3 return x * y4 }5//該方法無輸入參數，其實是有返回值，默認的自動匹配。6def
2020-02-25 00:02:06
原创 總結命令行03：HBase
Hbase常用命令行 示例： create table 'Test' , 'c1_info' , 'c2_info' , 'c3_info' put 'testAjl' , 'row_1' , 'c1_info:a' , 'val
2020-02-25 00:02:06
原创 總結命令行02：Hive
一、概述： Hive提供了很多的函數，可以在命令行下show functions羅列所有的函數，你會發現這些函數名與mysql的很相近，絕大多數相同的，可通過describe function functionName 查
2020-02-25 00:01:55
原创 複習總結02：Hive
複習Hive：主要是HSQL語句，MySQL數據庫語句。Hive的數據都自動存儲在HDFS上的 Hive: 1. 查詢語言。由於 SQL 被廣泛的應用在數據倉庫中，因此，專門針對 Hive 的特性設計了類 SQL 的查詢語言 HQL。熟
2020-02-25 00:01:55
原创 總結命令行06：Spark
啓動命令行：spark-shell 啓動spark：sbin/start-all.sh -> start-master.sh -> start-slaves.sh spark提交任務的過程 bin/spark-submit --clas
2020-02-25 00:01:55
原创 複習總結03：輔助系統Azkaban/flume/sqoop
…………………………………………………………………………………………一、Flume………………………………………………………………………………………………………… 一、Flume概述： 分佈式，高可靠，高可用海量日誌採集、聚合和傳輸系統
2020-02-25 00:01:55
原创 複習總結06：Kafka
一、Kafka概述 核心組件： Topic：消息分類，接收到的消息按照Topic進行分類。 Producer：發送消息。 Consumer：接收消息。 broker：每個Kafka實例。 zookeeper：依賴集羣保存me
2020-02-25 00:01:55
原创 總結：大數據幾個重要框架的結構框圖
一、Hadoop 二、HA集羣模式 主機名 IP 安裝的軟件 運行的進程 host 192.168.33.129 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) mi
2020-02-25 00:01:55
原创 複習總結01：Hadoop
一、關於設置hdfs ①獲取hdfs文件系統 1Configuration configuration = new Configuration();2FileSystem fSystem = fSystem = FileSy
2020-02-25 00:01:55