原创 工作學習報告--java基礎(1)

java  StringBuilder類   int length()  求構建器中的代碼單元的數量 StringBuilder append(String str) 追加一個字符串並返回this StringBuilder insert

原创 嘗試向分析類轉型1--scikit-learn(機器學習) 和 Weka(數據挖掘)

前段時間的那個微博爬蟲一直爬着。。 現在庫裏有20w id 和 10 w 轉發微博  10w 原創微博 這個項目算是失敗了,因爲效率太低了,微博更新那麼快,爬蟲速度又那麼慢。。。 所以根本來不及拿下最新最有代表性的數據 算了,既然爬就

原创 mapreduce裏的shuffle 裏的 sort merge 和combine

轉自http://www.aboutyun.com/thread-7078-1-1.html 的hyj 版主信息 旨在分享。感謝about 雲論壇。 補充:個人理解 在map結束的收尾工作 和 在reduce 開始的取數據 工作裏 都有

原创 大數據幾道面試題

 1. 給定a、b兩個文件,各存放50億個url,每個url各佔64字節,內存限制是4G,讓你找出a、b文件共同的url?   方案1:可以估計每個文件安的大小爲50G×64=320G,遠遠大於內存限制的4G。所以不可能將其完全加載到

原创 linux超級塊和inode 詳解 和 df 、du 命令詳解與環境變量

一、inode塊,Unix文件的核心。   首先需要明白的是,在Unix操作系統中的任何資源都被當作文件來管理。如目錄、光驅、終端設備等等,都被當作是一種文件。從這方面來說,Unix操作系統中的所有的目錄

原创 Hbase總結(十)Hhase性能調優

轉自:http://blog.csdn.net/lifuxiangcaohui/article/details/39994617 因官方Book Performance Tuning部分章節沒有按配置項進行索引,不能達到快速查閱的效果

原创 LVM 存儲系統裏 命令行 lv vg pv 的關係

partprobe  --掃描新增的硬盤 fdisk -l --查看 磁盤信息。 pvcreate  /dev/sdb --把新掛載的硬盤 創建 pv vgcreate vg-data /dev/sdb

原创 mysql 存儲引擎 innodb和myisam 區別

轉自:http://blog.sina.com.cn/s/blog_6e322ce70100xwve.html 1, 事務處理 innodb 支持事務功能,myisam 不支持。 Myisam 的執行速度更快,性能更好。 2,selec

原创 java 線程通信的兩種方法

先講如何通信: 再講 如何 同步。網上的代碼是有問題的。我註釋了出來。 第一 。\線程 共用 一個 稀缺變量: 1、 繼承至 thread 類 public class Innersharethread { public stati

原创 linux 物理硬盤資源管理

 這篇只講怎麼查詢和統計,至於怎麼分區,我也不會,回頭我會了在寫。 先修知識:介紹2種分區表: MBR分區表:(MBR含義:主引導記錄) 所支持的最大卷:2T (T; terabytes,1TB=1024GB) 對分區的設限:最多4個主

原创 linux 系統 分級命令目錄作用,軟硬中斷,查看具體進程啓動信息

中斷部分內容參考自:http://blog.csdn.net/zhangskd/article/details/21992933 進程查看部分參考自:http://blog.csdn.net/zheng0518/article/detai

原创 終於完全學會fdisk 分配虛擬機命令了

重新啓動虛擬機,進入查看新的硬盤情況:fdisk -l 1.查看現有的硬盤分區(現在空間沒有變大) #df -h 這裏是fdisk 操作的過程哦。其實fdisk 也是一個工具,linux裏頭劃分磁盤的工具 2.對新增的硬盤空間做新增分

原创 HBase總結(十一)hbase Java API 介紹及使用示例

轉自:http://blog.csdn.net/lifuxiangcaohui/article/details/39997205 幾個相關類與HBase數據模型之間的對應關係 java類 HBase數據模型 HBaseAdmin 數據庫

原创 逆序向約瑟夫環

約瑟夫環,是模n 刪除,這裏的題解是 模n 插入 這裏的例子是 模 2 public static void main(String args[]) { Scanner cin = new Scanner(System.in);

原创 linux /etc/bash.bashrc 下的環境變量 一定要把path export 出來啊。。。

linux /etc/bash.bashrc 下的環境變量 一定要把path export 出來啊。。。 設置的其他 單獨 有用的 變量也要export 出來。不然系統不認啊。。。 類似於你只寫了個沒用的字符串啊,系統沒有把它認作是操作環