讀取文件寫入kafka

測試過程是將報文(json格式)寫入kafka。爲了提高測試效率,寫個java程序,直接讀取本地的json文件,再運行一下代碼。

1.json文件用sublime text3打開,格式化快捷鍵ctrl+command+j。修改哪個字段非常方便。

2.java 函數,發送數據到kafka

    //從本地文件中讀取數據發往kafka
    public static void produceData() {
        String topic = "client_stable_topic_local";

        List list = null;
        try {
            //讀取本地json文件
            list = FileUtils.readLines(new File("/Users/yiqin/Desktop/client.json"));
        } catch (IOException e) {
            e.printStackTrace();
        }

        StringBuffer buffer = new StringBuffer();
        for (Object line : list) {
            buffer.append(line.toString().trim());//刪除字符串的頭尾空白符
        }

        JSONObject jsonObject = JSON.parseObject(buffer.toString());

        //替換rid
        String uuidStr = getUUID();
        jsonObject.getJSONObject("data").put("rid",uuidStr);

        //增加1個隨機的字段
        String str = getRandomString(5);
        jsonObject.getJSONObject("data").getJSONObject("properties").put(str,str);

        ProducerRecord<String, String> msg = new ProducerRecord<String,String>(topic,jsonObject.toJSONString());
        procuder.send(msg);
        procuder.flush();
    }

    /**
     * 生成一個隨機字符串
     * @param stringLength
     * @return 
     */
    public static String getRandomString(int stringLength){
        String string = "abcdefghijklmnopqrstuvwxyz";
        StringBuffer sb = new StringBuffer();
        for (int i = 0; i < stringLength; i++) {
            int index = (int) Math.floor(Math.random() * string.length());//向下取整0-25
            sb.append(string.charAt(index));
        }
        return sb.toString();
    }

    public static String getUUID(){
        String uuid = UUID.randomUUID().toString();
        return uuid;
    }

這裏用的是com.alibaba.fastjson

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章