原创 寒假自學進度8
python採集某市政百姓信件內容 #coding:utf-8 import requests from lxml import etree import time import pymysql import datetime impor
2020-02-20 15:47:33
原创 寒假自學進度10
不管是正常的爬蟲還是惡意爬蟲，不僅會導致網站信息泄露，而且還會導致服務器壓力過大。想象一下，一臺計算機模擬人工請求訪問服務器，並且與以計算機的速度與服務器進行交互，勢必會導致服務器壓力過大或者癱瘓。所以，很多正規的大型網站不想讓網絡爬蟲爬取
2020-02-20 15:47:33
原创 MapReduce之簡單的數據清洗----課堂測試 進度三
今天完成的是將mapreduce清洗後的數據導入hive數據庫： 第一步：需要熟練的知道如何操作hive數據庫，一些簡單的命令必須掌握。 進入hive數據庫 然後創建hive數據庫： 使用創建的hive數據庫並創建表
2019-11-16 14:28:33
原创 MapReduce之簡單的數據清洗----課堂測試 進度2
進行數據清洗首先開啓Hadoop 然後在eclipse裏面創建MapReduce項目 之後寫代碼： package 數據清洗hive; import java.io.IOException; import java.tex
2019-11-15 14:31:50
原创 MapReduce之簡單的數據清洗----課堂測試
題目： Result文件數據說明： Ip：106.39.41.166,（城市） Date：10/Nov/2016:00:01:02 +0800,（日期） Day：10,（天數） Traffic: 54 ,（流量） Type: video,（
2019-11-14 14:31:41
原创 Mapreduce實驗六課堂實例測試
實驗目的 1.準確理解Mapreduce的設計原理 2.熟練掌握WordCount程序代碼編寫 3.學會自己編寫WordCount程序進行詞頻統計 實驗原理 MapReduce採用的是“分而治之”的思想，把對大規模數據集的操作，分發給一個主
2019-11-01 14:30:58
原创 UML類之間的關係
統一建模語言簡介 統一建模語言（Unified Modeling Language，UML）是用來設計軟件藍圖的可視化建模語言，1997 年被國際對象管理組織（OMG）採納爲面向對象的建模語言的國際標準。它的特點是簡單、統一、圖形化、能表達
2019-09-17 14:28:19
原创 軟件工程-個人課程總結
現在已經市第十七週了，這個學期即將結束，但是軟件工程這門課程卻讓我收穫可很多知識。 首先先談一下這個學期我的收穫： （1）第一個使我獲得收穫的就是結對開發地鐵線路查詢這個項目。 軟件開發是需要一個團隊共同完成的，他並不是一個人的獨場秀。
2019-06-21 14:58:16
原创 第十五週進度報告總結
編程時間18小時左右 編程量：約2000行 完成任務：完成PHP大作業，準備數據庫考試 所學知識點：CSS3 多媒體查詢 CSS3 多媒體查詢 CSS3 的多媒體查詢繼承了 CSS2 多媒體類型的所有思想： 取代了查找設備的類型，CSS3
2019-06-20 14:36:32
原创 第十六週進度報告總結
編程時間20小時左右 編程量：約2000行 完成任務：PHP大作業檢查完成，第二階段衝刺結束，學弟使用我們的軟件 所學知識點：JavaScript 作用域 JavaScript 作用域 在 JavaScript 中, 對象和函數同樣也是變
2019-06-20 14:36:31
原创 夢斷代碼閱讀筆記03
幾天我讀了夢斷代碼第七章，第七章講述了卡普爾和OSFA之間的承諾，但是他們獲利的方式有兩種，想要兼得，可是現實就是隻能選擇一種。OSFA仍舊面臨大量選擇且有可能迷失在其中。他們貼出了“候選殺手級特性”列表，他們開始尋找項目經理，重新定義軟件
2019-06-20 14:36:31
原创 第二階段團隊衝刺8
下載需要服務器處於運行狀態，服務器的維護與設置仍然需要我們去進一步完善，因爲首次接觸服務器，在這一方面仍然有點迷茫，我們學習網上的知識，有了很大的進步。
2019-06-16 14:20:23