原创 【Kafka】命令行管理topic
Kafka版本: 1.0.1 1. 創建topic [hadoop@node03 bin]$ kafka-topics.sh --create --partitions 3 --replication-factor 2 --t
2020-04-14 03:02:36
原创 【Kafka】測試Kafka整合Flume
本文簡單測試Kafka整合Flume，從而實現"日誌 -> Flume -> Kafka"。 操作環境： Kafka版本：1.0.1 Flume版本：1.6.0 測試前需滿足以下條件: 已安裝Kafka和Flume Kafka
2020-04-14 03:02:36
原创 【Kafka】Kafka安裝部署
前期環境準備 準備好相應的服務器 本文中服務器共三臺: node01,node02,node03 服務器已安裝zookeeper集羣 Kafka安裝步驟 下載安裝包 下載地址: http://kafka.ap
2020-03-15 21:57:42
原创 【Flume】舉例分析如何配置Flume
Flume非常靈活，日常工作中可以根據實際需求配置。 如果大家不知道Flume支持哪些配置，那麼可以關注Flume官網。 在Configuration標籤下有Flume Source,Flume Sinks,Flume Chann
2020-02-23 23:21:14
原创 【Sqoop】Sqoop job實現增量導入的原理
我們在使用Sqoop的增量導入時，需要配置三個參數： 假設有這樣的場景： 使用Sqoop每天定時導出一張表（emp）的增量數據，其中emp的id列爲自增列。 那麼此時有兩種方式實現： (1) 每天收工配置last-value，手
2020-02-22 21:14:44
原创 sqoop導入導出
本文簡單介紹Sqoop如下操作： Import： rdbms導入HDFS; rdbms導入Hive； rdbms導入Hbase； Export： Hive導出到rdbms； Hbase導出到rdbms； 其中，
2020-02-22 21:14:44
原创 【HDFS】hdfs與fsck結合使用
1.獲取全部參數 [hadoop@node01 ~]$ hdfs fsck Usage: DFSck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite]
2020-02-20 18:15:06
原创 【Hive】多字符分隔
在創建Hive表時，一般我們會指定字段間的分隔符，如空格，\t，逗號等，這些是都單字符。那麼，如果我們想要按照多個字符分隔，如##，|+|等，這時候就要用到如下兩種方式： MultiDelimitSerDe解決多字符分隔 創建表
2020-02-20 18:15:06
原创 【彙編語言】進制轉換
十進制轉二進制 1.整數 除二取餘，倒着寫 如：十進制9轉換二進制 9 ÷ 2 = 4…1 4 ÷ 2 = 2…0 2 ÷ 2 = 1…0 1 ÷ 2 = 0…1 倒寫餘數，所以十進制9轉換爲二進制爲：1001 2.小數 乘二取整
2020-02-20 18:15:06
原创 【HDFS】HDFS與getconf結合使用，獲取配置信息
1.獲取所有參數 [hadoop@node01 ~]$ hdfs getconf hdfs getconf is utility for getting configuration information from the config
2020-02-20 18:15:06
原创 【MapReduce】編程指導思想
MapReduce編程思想共分爲8步： map階段：2步 shuffle階段：4步 reduce階段：2步 Map階段 第一步: 設置inputFormat類，將數據切分爲k-v對，輸入到第二步； 第二步：自定義map邏輯，處理第
2020-02-20 18:15:05
原创 【Linux】Centos7重啓網卡失敗
報錯如下： 解決辦法： systemctl stop NetworkManager systemctl disable NetworkManager 然後重啓網卡： service network restart
2020-02-20 18:15:05
原创 【Oracle】分區表中索引狀態爲N/A
我遇到的問題： 1. 表爲range分區加list子分區 2. 表上建本地分區索引 3. dba_ind_partitions中查詢索引狀態爲N/A 4. 即使刪除重建索引，狀態依舊爲N/A 問題解決說明： 分區索引在dba_ind_pa
2019-08-25 14:17:28
原创 【Oracle】ORA-06510: PL/SQL: 用戶定義的異常錯誤未得到處理
異常除了定義，還需要有代碼塊去處理異常。 詳見參考文章：https://www.techonthenet.com/oracle/errors/ora06510.php
2019-08-14 14:06:23
43
原创 【Oracle】ORA-14758: Last partition … cannot be dropped
[oracle@master ~]$ oerr ora 14758 14758, 00000, "Last partition in the range section cannot be dropped" // *Cause: An
2019-08-07 14:09:58
5