原创 【Python3筆記】七、Python 元組tuple
元組 tuple 列表屬於可變序列，可以任意修改列表中的元素。元組屬於不可變序列，不能修改元組中的 元素。因此，元組沒有增加元素、修改元素、刪除元素相關的方法。 因此，我們只需要學習元組的創建和刪除，元組中元素
2020-07-03 23:11:27
原创 【Python3筆記】六、Python 序列
列表簡介 列表：用於存儲任意數目、任意類型的數據集合。 列表是內置可變序列，是包含多個元素的有序連續的內存空間。列表定義的標準語法格式：
2020-07-03 23:11:27
原创 【Python3筆記】五、Python 字符串
字符串基本特點 很多人初學編程時，總是擔心自己數學不行，潛意識裏認爲數學好才能編程。實際上， 大多數程序員打交道最多的是“字符串”而不是“數字”。因爲，編程是用來解決現實問題 的，因此邏輯思維的重要性遠遠超過數學能力。 字符串的本質是：字
2020-07-02 13:42:39
2
原创 瞭解HDFS恢復過程（第2部分）Best Practices for Hive Authorization Using Apache Ranger in HDP 2.2
轉載：https://clouderatemp.wpengine.com/blog/2015/03/understanding-hdfs-recovery-processes-part-2/ 很好的文章，但是要翻牆轉載給國內的夥伴，作者有
2020-07-01 19:07:20
1
原创 關於面試--【flume介紹已官網爲基礎】
在官網上有很多的介紹所以面試的時候少點自己理解多說寫官網上已經有的，給面試會帶來更多亮點。 flume介紹 Flume is a distributed, reliable, and available service for effi
2020-07-01 19:07:20
原创 關於面試--【hive parquet數據格式內部結構】
1創建表 create table parquet_log( events string, header map<string,string> ) STORED AS PARQUET; CREATE TABLE dwt.tmp_
2020-07-01 19:07:20
原创 hive 使用的小命令
hive cli 中 使用shell命令 只要命令前加！並且以；結尾就可以了 hive> > !pwd; /data/home/dw hive> 在hive內使用hadoop 的dfs 命令 hive> dfs -ls
2020-07-01 19:07:20
原创 關於面試--【Spark消費 Kafka，分佈式的情況下，如何保證消息的順序?】
Kafka 分佈式的單位是 Partition。如何保證消息有序，需要分幾個情況討論。 同一個 Partition 用一個 write ahead log 組織，所以可以保證 FIFO 的順序。 不同 Partition 之間不能保證順序
2020-07-01 19:07:20
原创 關於面試--【kafka的存儲機制】
目錄 1、segment 1．.log 2．.index 3．命名規則 2、讀取數據 kafka通過topic來分主題存放數據，主題內有分區，分區可以有多個副本，分區的內部還細分爲若干個segment。 所謂的分區其實就是在ka
2020-07-01 19:07:20
原创 【Python3筆記】三、Python第一程序畫出奧迪車標
編程 # -*- coding: utf-8 -*- import turtle def Audilogo(): turtle.width(5) #筆的寬度 turtle.color("blue") #筆的顏色
2020-07-01 19:07:20
3
原创 【Python3筆記】一、Python介紹
目錄 · 簡介 · 特點 · 應用範圍 · 什麼時候不應該用 Python · 版本和兼容問題解決方案 目前主要兩個版本： · 簡介 Python 是一種解釋型、面向對象的語言。由吉多·範羅蘇姆（Guido
2020-07-01 19:07:20
原创 瞭解HDFS恢復過程（第1部分）【Understanding HDFS Recovery Processes】
轉載：https://clouderatemp.wpengine.com/blog/2015/03/understanding-hdfs-recovery-processes-part-1/ 很好的文章，但是要翻牆轉載給國內的夥伴，有問題
2020-07-01 19:07:20
原创 Hadoop授權令牌解釋(原標題 Hadoop Delegation Tokens Explained)
轉載：https://blog.cloudera.com/hadoop-delegation-tokens-explained/ 很好的文章，但是要翻牆轉載給國內的夥伴，有問題請聯繫刪除 第一部分谷歌翻譯版；下邊有英語版 Apa
2020-07-01 19:07:20
3
原创 關於面試--【Spark如何調優 】
目錄 1）使用foreachPartitions替代foreach。 2）設置num-executors參數 3）設置executor-memory參數 4） executor-cores 5） driver-memory 6） spar
2020-07-01 19:07:20
原创 關於面試--【基礎大數據面試題】
目錄 hdfs的體系結構： 請列出hadoop正常工作時要啓動那些進程，並寫出各自的作用。 一個datanode 宕機,怎麼一個流程恢復？ MapTask並行機度是由什麼決定的？ MapTask工作機制： MR是幹什麼的？ MR的實例進程
2020-07-01 19:07:20