原创 GNU sort命令詳解

sort命令的功能是對文件中的各行進行排序。實際上,sort命令可以被認爲是一個非常強大的數據管理工具,用來管理內容類似數據庫記錄的文件。sort逐行對文件中的內容進行排序,如果兩行的首字符相同,該命令將繼續比較這兩行的下一字符,如果還相

原创 Awk、Grep/Sed/Awk組合及Perl進行文本處理性能比較

爲了比較這三種實現方式的性能,我們選擇了同樣的數據進行測試,分別用三種方式編程,實現同樣的功能,並且比較其運行時間性能。 我們使用的各種工具及操作系統版本如下:     grep (GNU grep) 2.5.1     sed

原创 關聯分析是數據挖掘的本質

一般教科書上講數據挖掘技術,主要講關聯規則、分類、聚類、異常檢測。而關聯規則的代表應用是購物籃分析。而事實上,關聯分析的概念要遠遠廣於一般教科書上所講的關聯規則挖掘。數據分析找出一個參量與另外參量的關聯,很多時候是想進行因果關聯分析,即通

原创 Perl Wide character in print問題解決

在使用Text::CSV模塊解析CSV文件時遇到問題; 在開始加入binmode STDOUT, ':utf8';語句,症狀消失,整個使用CSV的代碼如下: #!/usr/bin/perl   use strict; use Text:

原创 Linux fc命令使用

fc命令與history結合會很有效,下面貼出其詳細說明 http://www.allwiki.com/wiki/Linux命令:Fc 使用權限 所有用戶 語法格式 打開一個編輯器去修改或重新執行以前輸入的命令 fc [ -r ] [

原创 Shell文件集體重命名的方法

Linux文件單個重命名一般用mv命令,集體重命名很多人自己寫一個簡單腳本,但是其實Linux的rename命令可以簡單實現絕大多數的重命名 任務。man rename結果如下:     NAME        rename - Rena

原创 MySQL被收購後被刪除的關於其核心價值的部分

這纔是MySQL的精華!!!由於某些原因被刪除了,可惜呀!          MySQL AB is the company of the MySQL

原创 Linux find exec的使用方法

目前至少可以知道find與exec的組合可以對某一類的文件進行某種操作,比如: find ./ -name "fs_online*.bz2" -exec bunzip {} /; 當然,這麼簡單的操作可以直接用 bunzip fs_onl

原创 C++的split函數

C++ STL中沒有類似Perl的split函數,必須自己寫一個。下面是從網上(http://stackoverflow.com/questions/236129/c-how-to-split-a-string) 轉帖的代碼及使用方法,

原创 grep/sed/awk與Perl比較的更新(1)

根據同事的建議,我更改了Perl程序,主要是使用了推薦的split和讀入文件方式while (<FHANDLE>),使用默認$_,@_變量,得到的Perl程序最新的運行時間爲33m45s,所以結論應該爲:  對於對文本進行搜索,字

原创 2009年4月18日CSDN中國軟件技術大會流水賬評論

首先,我想說的是我不喜歡“英雄”大會這個名稱,儘管大會去了很多牛人,但是我想大部分人還是像我這樣的一般開發者,去的目的是爲了開闊一些視野。我可不認爲自己是什麼英雄,而且我也認爲真正的英雄是不認爲自己是什麼英雄的。早晨九點鐘到過去,領了一

原创 好與壞的頁面展示(從推薦系統角度)

同時用過當當、豆瓣、卓越的人都有一種感覺:噹噹的推薦做個很差,而豆瓣和卓越的推薦做得很好。這其中的原因是是什麼呢?下面我們可以先看一看同一本書《史記》在三個網站上的展現: 噹噹:http://product.dangdang.co

原创 grep/sed/awk與Perl比較的更新(2)

根據同事的建議,我更改了grep/sed/awk組合處理的程序,讓程序一次將文件讀入內存,然後用grep/sed/awk處理,結束後再讀下一個文件。這樣改進後,運行時間爲29m7s,較Perl更快一點。   files=$(find /h

原创 Shell中得到某一天前n天的日期的方法

如果有一個日期data_date(yyyy-mm-dd), 需要得到其n天前的日期,該如何實現呢? 1.首先,將其轉爲yyyymmdd的格式: tempday=${data_date:0:4}-${data_date:4:2}-${dat

原创 mysql中不輸出表頭和結尾的方法

當想使用數據庫中的某些數據,想將其導入到文件中。這時一般用如下命令: echo "select vername, funverid from funshion_version " |mysql labindw >funshion_vers