原创 python socket 編程tcp/udp

udp_接受端: import socket def  main():         udp_socket=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)         # you ca

原创 Spring AOP(Aspect Oriented Programming)

基礎概念 橫切關注點 切面(Aspect) 連接點(JoinPoint) 切入點(PointCut) 通知(Advice) 目標對象(Target Object) 織入(Weaving) 引入(Introduction) 基

原创 CGLIB動態代理

class A_MethodInterceptor implements MethodInterceptor{ @override public Object intercept(Object o,Method method,

原创 JDK動態代理

calss AInvocationHandler implememts InvocationHandler{ private Object target; public Object bind(Object target){

原创 Java 多線程問題

public class Demo implements Runnable{ public static void main(String [] args){ Demo deo = new Demo

原创 java遇到多可選參數時解決方案-------Builder模式

//Builder pattern public class Nutritionfacts{ private final int servingSize; private final int servings;

原创 python-數據庫

1.mysql #準備工作pip install pymysql from pymysql import * conn=connect()#建立連接參數:host/port/user/password/database/charset

原创 numpy 加載本地文件

加載本地文件 1.loadtxt fname="/path..."#本地文件路徑:文件、字符串或產生器,可以是.gz或bz2壓縮文件 np.loadtxt(fname,dtype=np.float,delimitet=None,skipr

原创 Hadoop 複習整理(Hive-(概念))

Hive體系結構 用戶接口 CLI:Cli 啓動的時候,會同時啓動一個Hive 副本。 JDBC客戶端:封裝了Thrift,java應用程序,可以通過指定的主機和端口連接到在另一個進程中運行的hive服務器 ODBC客戶端:ODBC驅動允

原创 Hive複雜數據類型使用

Hive複雜數據類型有Array、Map、Struct三種。下面介紹這三種複雜數據類型的使用方法。 1 Array類型 創建數據庫 創建數據庫 表,以 Array做爲數據類型    查詢數據庫表  查詢person表 array數據類型

原创 Hive空值的處理

1 Hive 空值問題       Hive的使用中不可避免的需要對null、‘’(空字符串)進行判斷識別。但是hive有別於傳統的數據庫。 (1)不同數據類型對空值的存儲規則。      int與string 類型數據存儲,null 默

原创 Hadoop 複習整理(HBase)

HBase數據模型 對比關係型數據庫管理系統(RDBMS)理解HBase     HBase RDBMS 數據類型 HBase只有字符串(字節數組) RDBMS有豐富的數據類型 數據操作 HBase只支持增刪改查 RDBMS支持SQL語句

原创 Hadoop 複習整理(HDFS)

HDFS 分佈式文件系統 基本原理:將文件切分成等大的數據塊,分別存儲在多臺機器上;每個數據塊存在多個備份;將數據切分、容錯、負載均衡等功能透明化。 namenode: 管理文件系統的命名空間,它維護着文件系統樹及整棵樹內所有的文件和目

原创 Hadoop 複習整理(MapReduce)

什麼是MapReduce? 主要由Map和Reduce兩部分組成。 Reduce階段在Map階段執行結束之後執行。 Map階段的輸出結果作爲Reduce階段的輸入結果。 Reduce階段的輸入結果對應於多個Map的輸出結果。 Reduce

原创 Hadoop 複習整理(Hive-(命令))

Hive表-導入數據 1.Load方式導入 LOAD DATA [LOCAL] INPATH'filepath'[OVERWRITE] INTO TABLE tablename[PARTITION (partcol1=val1, part