POI的海量數據導出

海量數據導出
Hibernate數據量單表喲小於500;
Mybatis/jsbc單表數據大於500,oracle不要超過1億
Excel2003數據量有限制:65536行,256列
  HSSFWorkbook對象只能操作excel2003  xls擴展名
 XSSFWorkbook 可以支持excel2007及以上的版本
 excel2007 支持的單表sheet:1048576行,16384列
 
SXSSFWorbook可以支持百萬級別數據的POI 但是不支持模版,要求POI3.0版本以上
 
實現原理:
 在初始化SXSSFWorkbook這個對象時,可以指定在內存中所產生的POI導出相關對象的個數(默認100個),一旦內存中對象的個數達到這個指定值時,就將內存中的這些對象寫入到磁盤中(xml文件格式),就可以將這些對象從內存中銷燬掉,以後只要達到這個值時,都會這樣處理。最終excel導出完成時，也會將寫入xml文件中的內容一起導出。
 缺點：內存與磁盤交互時，需要佔用IO流相關操作，它本身也是耗時的，如果機器配置比較低時，就會出現磁盤操作還沒有完成，但是內存中有存在了指定數量的對象。
  量變引起質變。
JDBC實現百萬數據導出
public class POITest2 {
	public static void main(String[] args) throws Exception{
		String xlsFile = "c:/poiSXSSFDBBigData.xlsx";					//輸出文件
		Workbook wb = new SXSSFWorkbook(100);				//創建excel文件，內存只有100條記錄【關鍵語句】
		Sheet sheet = wb.createSheet("我的第一個工作簿");		//建立新的sheet對象
		Row nRow = null;
		Cell nCell   = null;
		//使用jdbc鏈接數據庫
		Class.forName("oracle.jdbc.driver.OracleDriver").newInstance();  	
		String url = "jdbc:oracle:thin:@127.0.0.1:1521:ORCL";
		String user = "zgs";
		String password = "123456";
		
		/*Class.forName("com.mysql.jdbc.Driver").newInstance();  
		String url = "jdbc:mysql://localhost:3306/jkmore100?characterEncoding=utf8";
		String user = "root";
		String password = "root";*/
		
		Connection conn = DriverManager.getConnection(url, user,password);   
		Statement stmt = conn.createStatement(ResultSet.TYPE_SCROLL_SENSITIVE,ResultSet.CONCUR_UPDATABLE);   

		String sql = "SELECT * FROM CONTRACT_PRODUCT_C";   	//100萬測試數據
		//sql = "select name,age,des from customer";   	//100萬測試數據
		ResultSet rs = stmt.executeQuery(sql);  						//bug 要分次讀取，否則記錄過多
		long  startTime = System.currentTimeMillis();	//開始時間
		System.out.println("strat execute time: " + startTime);
		//context
		int rowNo = 0;
		int colNo = 0;
		while(rs.next()) {
		
			for(int i=0;i<5000;i++){
				colNo = 0;
				nRow = sheet.createRow(rowNo++);
	
				nCell = nRow.createCell(colNo++);
				nCell.setCellValue(rs.getString(colNo));
				
				nCell = nRow.createCell(colNo++);
				nCell.setCellValue(rs.getString(colNo));
				
				if(rowNo%100==0){
					System.out.println("row no: " + rowNo);
				}
			}
			
			Thread.sleep(1);			//休息一下，防止對CPU佔用
		}
		
		long finishedTime = System.currentTimeMillis();	//處理完成時間
		System.out.println("finished execute  time: " + (finishedTime - startTime)/1000 + "m");
		
		FileOutputStream fOut = new FileOutputStream(xlsFile);
		wb.write(fOut);
		fOut.flush();
		fOut.close();
		
		long stopTime = System.currentTimeMillis();		//寫文件時間
		System.out.println("write xlsx file time: " + (stopTime - startTime)/1000 + "m");
		
		close(rs, stmt, conn);
	}
	//close resource
	private static  void close(ResultSet rs, Statement stmt, Connection conn ) throws SQLException{
		rs.close();   
		stmt.close();   
		conn.close(); 
	}	
}