原创 centos7:本地部署lvs與keepalived

LVS是Linux Virtual Server的簡寫,意即Linux虛擬服務器,是一個虛擬的服務器集羣系統 keepalived的作用是檢測後端TCP服務的狀態,如果有一臺提供TCP服務的後端節點死機,或者工作出現故障,keep

原创 sublime:下載免費歷史版本

sublime作爲最好用的工具,曾經是一直免費的。一直到3.1某個版本之後開始需要在線認證。 歷史版本中雖然還有bug(一直持續不斷更新版本就是爲了解決bug,其次纔是加入新功能),但是基本夠日常需求,然而官網時不提供歷史版本下載

原创 centos7:裝個chrome瀏覽器

添加軟件安裝源 vi /etc/yum.repo.d/google-chrome.repo 如果沒有文件,創建一個就行 輸入yum源信息 [google-chrome] name=google-chrome baseurl=h

原创 AutoML:最新技術概覽

原文鏈接:https://arxiv.org/pdf/1908.00709.pdf 原文鏈接:https://arxiv.org/pdf/1908.00709.pdf Xin He,

原创 Deep Learning:PyTorch 基於docker 容器的分佈式訓練實踐

引言 PyTorch distributed currently only supports Linux.   這句話是來自 pytorch 官網 的 torch.distributed 部分,說明 pytorch 支持分佈式訓

原创 Deep Learning:MXNet 基於docker 容器的分佈式訓練實踐

引言 MXNet supports distributed training enabling us to leverage multiple machines for faster training.   MXNet支持分佈式培

原创 白皮書:InfiniBand簡介

原文鏈接:Introduction to InfiniBand 摘要 InfiniBand是一種功能強大的新架構,旨在支持Internet基礎設施的 I/O 連接。 所有主要OEM服務器供應商都支持InfiniBand作爲擴展服務

原创 java:定時任務以及線程池任務投遞

需求來源 有一套數據計算服務平臺,基本架構是分佈式文件系統 hdfs 存儲原始數據,mysql 數據庫存儲計算模型路徑 以及 任務記錄。需要通過 hadoop 、spark等進行分佈式任務計算。通過web 進行計算模型組織、任務投

原创 conda:pytorch開發環境搭建

安裝miniconda 上官網下載 miniConda 在本地執行 sh 文件,如果想指定安裝目錄,需要用管理員權限執行 配置國內鏡像源 修改 ~/.condarc 文件 channels: - https://mirrors

原创 conda:虛擬環境 bug 問題解決

Q1 使用 pip 安裝 torch 失敗 問題描述: 在 centos 7 虛擬機中 使用 miniconda 創建的虛擬環境。創建完成後,可以使用conda 安裝python 相關 lib但是不能使用pip 安裝,報錯如下

原创 docker:配置docker pull 源

修改/etc/docker/daemon.json 文件 { “registry-mirrors”:[ “https://kfwkfulq.mirror.aliyuncs.com”, “https://2lqq34jg.mirro

原创 mac:brew管理 python 多版本共存

需求來源 很多項目依賴於本地 python 3.7 以及相關 package。 tensorflow 最高只支持到3.6 (2019.06)。 操作流程 # 取消軟連接 brew link python3 # 安裝 python

原创 docker:搭建私有倉庫

系統環境 系統環境:centos 7 docker版本:1.13.1 實際操作 安裝docker 後,可以通過官方的 registry 鏡像創建本地私有倉庫 下面是一個測試: docker run -d -p 5000:5000

原创 go:多任務線程池併發 1

需求來源 原本有一個單線程執行器,用來執行多任務計算,但是單線程執行並沒有很好利用系統多核 CPU 資源的優勢。於是,需要把執行器改成併發執行的執行器。 首先,有一點需要明確的是,需要的進行計算的多任務並不是一次就拋出來的。這是一

原创 centos7:安裝配置 virtualbox 增強功能 VBoxGuestAdditions,並實現物理機腳本控制虛擬機

需求來源 本地virtualbox 上有四臺互聯虛擬機,由於物理機是檯筆記本,網絡可能會發生變化 而且,由於某些原因,虛擬機需要設置成靜態ip 所以,當網絡發生變化時,我需要適應性的修改虛擬機的網卡中的ip(IPADDR)和路由(GA