原创 實習記錄——網頁報表的製作(php+Ajax+MySQL製作動態網頁)

這是一篇吐槽+記錄的博客,以此紀念即將結束的實習生活和實習過程中最重要的一個學習成果——製作網頁報表。 最近學校安排了實習,公司這邊要求做一個簡單的數據分析,說白了就是SQL語句查一查,最後再把結果給大家展示一下。 本來以爲最後的展示用E

原创 win10下安裝hadoop配置好環境後cmd中輸入hadoop依然顯示沒有這個命令

原因:hadoop文件夾(eg:hadoop-2.7.1)放在了有空格或者中文的目錄下 解決方法:把hadoop移動到純英文的目錄下 真的坑,網上有些說Program Files這個文件夾環境變量中的路徑可以用Porgra~1代替,JAV

原创 Scala學習——尾遞歸

在尾遞歸中,函數可以調用自身,並且該調用時函數的最後一個(“尾部”)操作。尾遞歸時能把函數優化爲循環的重要的一種遞歸。循環可以消除潛在的棧溢出的風險,同時也因爲消除了函數調用開銷而提升了效率。尾遞歸函數中所有遞歸形式的調用都出現在函數的末

原创 Scala中fold()操作和reduce()操作的區別

reduce()——規約操作,包含reduceLeft()和reduceRight()兩種操作。 fold()——摺疊操作,包含foldLeft()和foldRight()兩種操作。 兩者功能相似,不同之處在於: fold()操作需要從一

原创 python安裝第三方庫pillow成功後無法導入pillow模塊,pillow模塊導入後無法引用Image模塊

環境:python3.6 問題:python安裝第三方庫pillow成功,但代碼中導入pillow時波浪線標紅,也無法導入Image 解決: 第一步:卸載已經安裝好的pillow pip uninstall pillow  第二步:安裝

原创 scrapy簡單使用方法

步驟: 1、在編譯器(我用的Pycharm)裏新建文件夾,名稱隨意 2、從終端(Anaconda Prompt)中進入所創建的文件夾(Anaconda Prompt中切換C盤和D盤方法見上篇博客) 3、在該文件夾中創建scrapy框架,即

原创 爬蟲實戰之win10家庭版安裝docker(含填坑總結)

scrapy做爬蟲任務,只能爬取靜態網頁。 爲了爬取動態網頁,需要用到scrapy-splash 配置安裝scrapy-splash需要docker docker的安裝參考如下: 環境:win10家庭版,沒有Hyper-v 寫在前面:由於

原创 Anaconda Propmt切換到D盤

傳送門👇 Anaconda Prompt 切換路徑不能進入D盤 點贊 收藏 分享 文章舉報 不想當小白 發佈了22 篇原創文章 · 獲贊 23 · 訪問量 2萬+ 私信

原创 網絡爬蟲之Anaconda環境下簡單安裝配置scrapy

吐槽一刻 最近爲了完成作業又開始被迫學習遼~腦子不好使,只好來記錄學習過程和收穫,不然做完之後連咋做的可能都給忘了 打算做一個網絡爬蟲相關的東西,需要在scrapy框架下搞,以前只是聽說過這個但沒接觸過,感覺很麻煩的亞子,但現在不得不做下

原创 實習記錄——網頁報表的製作

這是一篇吐槽+記錄的博客,以此紀念即將結束的實習生活和實習過程中最重要的一個學習成果——製作網頁報表。 最近學校安排了實習,公司這邊要求做一個簡單的數據分析,說白了就是SQL語句查一查,最後再把結果給大家展示一下。 本來以爲最後的展示用E

原创 sublime text3運行php文件報錯winerror2:系統找不到指定的文件

出現問題如上圖所示。 原因:沒有正確配置路徑和編譯環境。 解決思路: 第一步:把PHP添加到環境變量中 第二步:添加PHP編譯系統 詳細步驟請參考: Sublime Text3 運行 PHP 文件

原创 修改log4j.properties文件——輸出日誌到指定路徑的總結

一、log4j.properties是什麼 簡單說就是一個日誌的配置文件,其中包含了與日誌相關的各種配置信息,修改的話需要管理員權限。 在我的Ubuntu虛擬機中的位置:/usr/local/spark-2.3.0-bin-hadoop2

原创 RStudio安裝包時報錯:Package LibPath Version Priority Depends Imports LinkingTo Suggests Enhances OS_

完整報錯: Package LibPath Version Priority Depends Imports LinkingTo Suggests      Enhances License License_is_FOSS Licens

原创 Ubuntu系統下載並安裝MySQL並在Spark環境下使用jdbc連接MySQL數據庫總結

操作系統:虛擬機中搭建的Ubuntu18.04 Spark版本:spark-2.3.0-bin-hadoop2.7 MySQL版本: JDBC驅動壓縮包:mysql-connector-java-8.0.16.jar 安裝並使用MySQL

原创 SQL數據庫學習——WITH

ER圖: 問題:你需要算出每個渠道每天的平均事件數。 解決方案: SELECT channel, AVG(events) AS average_events FROM (SELECT DATE_TRUNC('day',occurred