原创 ElasticSearch + Kibana

文章目錄介紹用途安裝Mock數據簡單的使用關於Kibana和ElasticSearch的連接使用最後 介紹 ElasticSearch : Elasticsearch 是一個分佈式、RESTful 風格的搜索和數據分析引擎[官網介

原创 apt-get does not have a release file

文章目錄問題解決 問題 執行 apt-get update 的時候出現了下面這個Warning: does not have a release file 解決 字面意思就是這個網站不被信任,有被攻擊危險,根據StackOve

原创 記一次k8s集羣的調度調整

文章目錄集羣信息遇到的問題排查統計pod在節點的分配情況查看yaml文件解決問題不讓pod分配到master節點均分pod到非master節點結果 集羣信息 master節點:3臺,slaver節點:9臺 etcd運行在三臺m

原创 使用python records 一些問題

文章目錄NULL問題中文亂碼問題 NULL問題 當數據庫裏面的數據是null的時候,直接print 結果集裏面的條目是會出錯的,現在我的解決辦法是:對這些null手動賦值。 中文亂碼問題 在創建新的連接的時候: db_connec

原创 RTNETLINK answers: Cannot assign requested address 手動設置MAC地址出現的錯誤

文章目錄問題描述解決步驟解決辦法相關連接 問題描述 在開啓qeme虛擬機的時候,手動填寫了內部網卡的MAC地址,但是啓動虛擬機之後,從其他同網段的機器並不能ssh到這臺虛擬機上面。 解決步驟 直接把qemu前臺運行,直接登陸到q

原创 qemu 虛擬機掛載img + sudoers文件修改

文章目錄問題描述解決辦法虛擬機掛載方法相關鏈接經驗 問題描述 手動修改了sudoers文件: sudo vim /etc/sudoers 出現了錯誤: 很尷尬的sudo用不了了,下面有幾個解決方案: 解決辦法 如果是擁有ro

原创 ssh 複用連接

文章目錄問題目的解決方案遇到的問題 問題 1.在生產環境下面,如果存在較多的ssh連接,無論是人連接上去的還是代碼建立的連接,都會消耗宿主機上面的資源。會造成宿主機的卡頓,IO增大。 2.頻繁地建立ssh連接,需要不停地輸入密碼。

原创 Golang http client 關閉連接 && too many open files

文章目錄問題相關概念解決辦法 問題 使用Golang去批量下載所需要的數據時,由於http client發起請求並且讀取body之後,沒有正確設置Transport,並且沒有關閉Body,導致機器上面出現大量的CLOSE_WAIT

原创 airflow調度問題排查

文章目錄問題描述排查總結分析過程 問題描述 現在公司使用的airflow調度器很慢,每次clear一個task之後,這個task要過一段時間纔會被調度器調度到,這個時間大約需要15-30s。 使用的airflow版本較老:v1.

原创 代理,代理,代理

文章目錄apt-get 代理pip 代理Golang 代理 apt-get 代理 sudo vim /etc/apt/apt.conf.d/95proxy Acquire::http::proxy "proxy-host:pro

原创 Linux 內存源碼初步閱讀

文章目錄幾個數據結構初始化內存夥伴系統初始化夥伴系統分配slab/slub/slob分配對象步驟總結 幾個數據結構 pg_data_t 這個數據結構代表每一個NUMA節點,關於NUMA可以稍微看看這篇瞭解下 zonelist

原创 virsh 基本使用

文章目錄libvirtvirsh基本使用Refer libvirt 可以查看定義 virsh基本使用 列出所有的domain(我簡單地理解成虛擬機) virsh list --all 克隆現有的一臺虛擬機,包括虛擬機的鏡像

原创 NUMA 相關

文章目錄問題引發幾個命令計算NUMANUMA的支持一些很好的文章 問題引發 在看書看到物理內存的時候,看到有UMA(一致內存訪問)和NUMA(非一致內存訪問)兩種方式,不太懂這個NUMA是個什麼概念,所以大致去網上了解了下。 幾個

原创 Linux scheduler 調度源碼初步閱讀

文章目錄代碼版本fork流程copy_processwake_up_new_taskschedule 流程pre_schedulepick_next_taskcontext_switch可調度實體的vruntime、load計算R

原创 一些pandas的操作

文章目錄對於列的操作 對於列的操作 在groupby sum 之後最好要reset_index() df1 = df.groupby([col1, col2]).sum() df2 = df.groupby([col1, co