原创 使用Dockerfile創建Ubuntu+Pytorch+CUDA 鏡像
使用Dockerfile創建Ubuntu+Pytorch+CUDA 鏡像 過程 安裝Docker 參考ubuntu安裝docker 安裝NVIDIA Container Toolkit 參考NVIDIA/nvidia
2020-07-07 05:54:46
1
原创 [Pytorch練手]使用CNN圖像分類
[Pytorch練手]使用CNN圖像分類 需求 在4*4的圖片中，比較外圍黑色像素點和內圈黑色像素點個數的大小將圖片分類 如上圖圖片外圍黑色像素點5個大於內圈黑色像素點1個分爲0類反之1類 想法 通過numpy、PIL構造4*
2020-06-22 04:56:16
原创 2020考研復旦計算機專碩392經驗貼
2020考研復旦計算機專碩392經驗貼 之前立flag上岸要寫經驗貼的，誰知今年複試時間跟初試一樣長了，想說的都忘了。。但還是寫一份吧 每個人情況都不同，每個人都有自己的學習節奏，只希望在你焦慮的（我是這樣的）看完這些經驗貼後，能
2020-06-22 04:56:16
原创 在docker中使用pytorch時共享內存問題
ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memory (shm) 問題 ERRO
2020-06-22 04:56:15
45
原创 [python]微信公衆號文章爬取
[python]微信公衆號文章爬取 需求 爬取一些微信公衆號的文章 數據來源 1.搜狗微信搜索，可以搜索微信公衆號文章，但只能顯示該公衆號最近十篇的文章 2.通過個人微信公衆號中的素材管理，查看其他微信公衆號文章 步驟 1.
2020-06-22 04:56:15
原创 jupyter notebook 500 : Internal Server Error 問題
jupyter notebook 500 : Internal Server Error 問題 問題 jupyter notebook 正常啓動卻無法打開.ipynb 出現這個問題的起因在於我安裝 jupyter_contrib
2020-06-22 04:56:15
原创 [Python] 黑白棋（翻轉棋）小遊戲
[Python] 黑白棋（翻轉棋）小遊戲 遊戲介紹 黑白棋(Reversi or Othello)在西方和日本很流行。遊戲通過相互翻轉對方的棋子，最後以棋盤上誰的棋子多來判斷勝負。 規則 黑白棋的每顆棋子由黑白兩色組成，一面白，一
2020-05-23 21:37:21
原创 [python]爬取全國城市歷史天氣數據
python爬取全國城市歷史天氣數據 爬取全國城市2011至2020每天天氣數據 以requests+BeautifulSoup的方式抓取數據 多線程爬取 按城市名爬取後按省份存爲xls 從全國城市名稱對應拼音構造字典時，存在城
2020-02-22 14:51:38
原创 構建基於Spark的推薦引擎（Python）
構建基於Spark的推薦引擎（Python） 推薦引擎背後的想法是預測人們可能喜好的物品並通過探尋物品之間的聯繫來輔助這個過程 在學習Spark機器學習這本書時，書上用scala完成，自己不熟悉遂用pyshark完成，更深入的理解了s
2018-09-03 08:25:14
原创 Flume + Kafka學習——整合Demo
Flume + Kafka學習——整合Demo 環境 Flume 1.6.0-cdh5.7.0 Kafka 0.9.0.0 FLume官方文檔 Flume1.6.0 User Guide Kafka官網文檔 Kafka Docu
2018-09-03 08:25:14
原创 Python中的可變與不可變對象
Python中的可變與不可變對象 Python中的所有東西都是一個對象。每個Python新手都應該學習的是，Python中的所有對象都可以是可變的或不可變的。 讓我們更深入地瞭解它的細節…因爲Python中的所有東西都是對象，所以每
2018-09-03 08:25:13
原创 Hadoop2.7.4分佈式集羣安裝配置文件
集羣環境 Hadoop版本爲2.7.4 JDK版本1.8.0_144 安裝了三臺虛擬機分別設定名稱和IP如下 主機名稱 IP地址 master 192.168.1.15 slave01 192.168.1.16 s
2018-09-03 08:25:13
原创 Spark編譯
前提 在這裏我們編譯的是Spark2.2.0,Hadoop版本爲hadoop-2.6.0-cdh5.7.0，Scala版本爲2.11.8 更多關於編譯Spark2.2.0參見Spark編譯官方文檔 環境要求 The Maven-base
2018-09-03 08:25:13
2
原创 Hibernate 註解使用
在Hibernate中通常配置對象關係映射關係有兩種，一種是基於xml的方式，另一種是基於Hibernate Annotation庫的註解方式。在Hibernate 3.2版本和Java 5 環境下開始支持使用註解配置對象關係映射，使用H
2018-09-03 08:25:10
原创 NodeManager節點啓動報錯內存不足 NodeManager from master doesn't satisfy minimum allocations
啓動hadoop後jps存在nodemanager進程，但馬上會報錯中斷進程 查看日誌後發現報的是啓動nodemanager 所需內存不足 2017-09-27 18:25:11,244 INFO org.apache.hadoop.s
2018-09-03 08:25:10