溫馨提示：要看高清無碼套圖，請使用手機打開並單擊圖片放大查看。
1.問題描述
使用kafka-topics --delete命令刪除topic時並沒有真正的刪除，而是把topic標記爲：“marked for deletion”，導致重新創建相同名稱的Topic時報錯“already exists”。
2.問題復現
1.登錄Kafka集羣所在的服務器，創建一個test的topic
[root@cdh1 ~]# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test
2.查看新創建的topic
[root@cdh1 ~]# kafka-topics --list --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181
3.通過如下命令刪除新建的topic
[root@cdh1 ~]# kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test
此處顯示“Topic test is marked for deletion”
4.嘗試重新創建一個test的Topic
[root@cdh1 ~]# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test
提示該Topic已存在，說明在第3步操作的刪除並沒有真正的將Topic刪除。
3.問題原因
默認情況下Kafka是禁用了刪除Topic的操作，所以在執行Topic刪除的時候只是將刪除的Topic標記爲“marked for deletion”狀態。可以通過修改Kafka服務的配置參數啓用。
4.解決方法
4.1方法1
在kafka服務配置delete.topic.enable=false的情況下，如果需要永久刪除topic則需要做如下操作：
- 通過kafka命令刪除相應的topic
- 在zookeeper中刪除相應的topic
- 在topic所在的broker節點上刪除topic的log數據
操作如下：
1.查看topic的描述信息，命令如下
kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test
上圖標註部分爲topic對應的數據存放節點
2.通過kafka命令刪除，命令如下：
kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test
3.通過zookeeper客戶端刪除topic，命令如下
zookeeper-client -server ip-172-31-1-175.ap-southeast-1.compute.internal:2181
ls /brokers/topics
rmr /brokers/topics/test
注：標紅部分爲topic的名稱
4.登錄到第1步中列出的對應節點的topic的log數據目錄，此處我們Kafka的log.dirs目錄配置爲/var/local/kakfa，執行命令
[ec2-user@ip-172-31-9-186 data]$ sudo rm -rf test-0/
5.驗證是否生效
創建一個名稱爲“test”的Topic，可以正常創建
注意：此處將topic爲test的日誌目錄（/var/local/kafka/test-0）刪除後，新創建的topic爲test的日誌目錄不存在，重啓Kafka服務後正常，目錄能正常顯示。
4.2方法2
在Kafka服務已配置delete.topic.enable=true的情況下，永久刪除topic需要做如下操作：
- 使用kafka命令刪除topic
操作如下：
- 刪除前數據查看：
kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test
各個數據節點的信息：
Zookeeper信息：
2.通過kafka命令刪除需要刪除的topic，命令如下
kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test
3.查看Zookeeper客戶端topic信息
[zk: ip-172-31-1-175.ap-southeast-1.compute.internal:2181(CONNECTED) 9] ls /brokers/topics
4.查看brober節點上topic的日誌數據
5.刪除後成功後，驗證是否能創建名稱爲test的Topic
注意：
如果Kafka服務配置了delete.topic.enable=true，直接通過命令行刪除，未能刪除Topic則可以通過zookeeper-client來進行刪除。
如果Kafka服務未配置delete.topic.enable=true，直接通過delete命令刪除topic，刪除時只會將topic標記爲“marked for deletion”，然後通過zookeeper-client進行刪除是不會刪除topic的data.log數據目錄的，需要將相應的broker服務器上的data.log目錄下相應的topic目錄刪除，data.log目錄獲取，可以通過CM界面查看：
建議：Kafka服務開啓delete.topic.enable=true，開啓方式如下：
開啓後需要重啓Kafka服務。
醉酒鞭名馬，少年多浮誇！ 嶺南浣溪沙，嘔吐酒肆下！摯友不肯放，數據玩的花！
溫馨提示：要看高清無碼套圖，請使用手機打開並單擊圖片放大查看。
歡迎關注Hadoop實操，第一時間，分享更多Hadoop乾貨，喜歡請關注分享。
原創文章，歡迎轉載，轉載請註明：轉載自微信公衆號Hadoop實操
