原创 【Hadoop streaming】python腳本獲取輸入文件名
filepath = os.environ['map_input_file'] filename1 = str(filepath).split('/')[-1] wx_pv=re.search(r'^ie_log(.*)',filen
2018-11-13 00:30:36
原创 【shell】sort 中文排序
在Linux中利用sort進行中文排序需要注意一點，就是文件編碼。 舉個栗子 有時候運行sort file 命令會出現如下結果 如上圖所示，句子一應該和句子三在一塊 此時，可以加上命令LANG=GBK;sort file 即可 結果
2018-11-07 22:30:25
2
原创 相關網址彙總
一、學術方面 1、sci論文下載：http://www.sciencedirect.com/science 2、paperweekly 3、google學術 4、TensorFlow中文社區：http://www.tensorfly.
2018-11-04 11:51:00
1
原创 【Python】生成隨機數
1、生成指定範圍重複隨機數 #生成1000個10000以內不重複的隨機數 [random.randint(0,10000) for i in range(1000)] ##或者是 [random.randrange(10000) fo
2018-10-27 11:16:50
原创 【Python】Python編程風格和註釋風格
PEP-8：https://www.python.org/dev/peps/pep-0008/ PEP-257：https://www.python.org/dev/peps/pep-0257/
2018-10-19 22:17:05
4
原创 【Python】Python3讀中文亂碼問題彙總
1、open(filepath).readlines()報錯 究極解決辦法： for line in open(“yiliao.final”,encoding=“gb18030”,errors=‘ignore’).readlines
2018-10-19 22:17:05
原创 【skit-learn】train_test_split分割數據集
當我們獲取到數據集的時候，會覺得寫一個單獨寫一個分割數據集的函數很費事，要考慮到隨機性和訓練集測試集的比例大小。skit-learn提供了一種分割訓練集測試集的函數 X_train,X_test,y_train,y_test = tr
2018-09-30 10:39:54
3
原创 【Tensflow錯誤彙總】tensorflow.python.framework.errors_impl.InternalError: Dst tensor is not initial
錯誤：InternalError: Dst tensor is not initialized. 分析：出現這個錯誤一般是GPU內存耗盡，掛在後臺進程中的IPython內核會這樣做 解決辦法：運行程序之前，先運行export CUDA
2018-09-30 10:39:43
13
原创 C語言筆記
本博客根據書籍是c語言程序設計（第四版）譚浩強著 進行整理彙總 第一章 1、c語言程序執行力流程 第二章 精度問題 如果把雙精度賦值給float型變量，則會造成精度的損失。對於vitural c++的編譯器來說會出現警告，對於gcc編
2018-09-05 03:44:03
原创 搜狗記
2018年 三月份 四月份 五月份 六月份 七月份 2018年 三月份 2018.3.13 類型 內容 自我學習 學習C語言，書籍看完10% 工作 1、瞭解wiki中新人入職規範相關信息2、完成自然
2018-09-05 03:44:03
原创 PS筆記
快捷鍵 對圖層進行拷貝：ctrl+j 對圖像進行自由變換：ctrl+t 撤銷：ctrl+alt+z 對當前圖層圖像進行復制：alt+圖片 對當前圖層圖像進行復制：ctrl+圖片 若想選擇多個圖層：shift+圖層 取消選區：ctrl+d
2018-09-05 03:44:03
原创 Hadoop性能調優方法
當我們寫完一個MR程序之後，我們希望能夠加快程序的執行速度，那麼怎麼進行性能的調優呢，有如下幾種方法？ 1、mapper的數量 適當調整mapper的數量，使得每個mapper的運行時間在1分鐘爲宜。因爲mapper數量過小，則會導致整體
2018-09-05 03:44:03
原创 vim打開文件亂碼
打開文件亂碼：:edit ++enc=cp936 原文：http://blog.sina.com.cn/s/blog_40e1ba640102wm26.html
2018-09-05 03:44:02
原创 shell文件包含
如果想在本文件中加入其它文件的變量，可以用如下方法。 例如，test.sh代碼如下 url="www.baidu.com" main.sh加載test.sh文件如下 . ./test.sh echo "百度網址是"$url
2018-09-05 03:44:02
原创 python 保留小數點位數
對於浮點數 a=1.36852 a=round(a,2) print a #結果1.36 對於整數 from decimal import Decimal a=1 a=Decimal(a).quantize(Decimal('0.00')
2018-09-05 03:44:02