Apache Pig和Solr問題筆記（一）

記錄下最近兩天散仙在工作中遇到的有關Pig0.12.0和Solr4.10.2一些問題總共有3個如下

1問題一如何Pig中使用ASCII和十六進制hexadecimal的分隔符進行加載和切分數據

注意關於這個問題在Pig中會反應到2個場景中
第一在Pig加載load數據時候。
第二在Pig處理split或則正則截取數據的時候。

先稍微說下爲啥使用十六進制的字段分隔符而不是我們常見的空格逗號冒號分號#號等這些字符雖然也可以使用但是如果我們數據中有和這些符號衝突的數據那麼在解析時就會發生一些出人意料的Bug所以爲了保險起見選用肉眼不可讀的十六進制的數據是一個不錯的選擇當然這也是針對場景來說的看情況決定。

關於詳細的ASCII和十六進制二進制八進制十進制的文檔介紹請參考維基百科全書。

下面繼續回到正題本例中我們的數據格式是這樣存儲的

Java代碼

每行一條記錄,UTF-8編碼
每條記錄都包括字段名和字段內容
字段之間用ascii碼1分隔
字段名與內容之間用ascii碼2分隔

每行一條記錄,UTF-8編碼
每條記錄都包括字段名和字段內容
字段之間用ascii碼1分隔
字段名與內容之間用ascii碼2分隔

一個在eclipse中的小例子如下

Java代碼

public static void main(String[] args) {
//注意\1和\2在我們的IDE中NotePad++中Linux的終端設備的界面中都會呈現不同的
//顯示方式大家可以在維基百科中詳細瞭解下
//數據示例
String s="prod_cate_disp_id019";
//split規則
String ss[]=s.split("\2");
for(String st:ss){
System.out.println(st);
}
}

	public static void main(String[] args) {
		//注意\1和\2在我們的IDE中NotePad++中Linux的終端設備的界面中都會呈現不同的
		//顯示方式大家可以在維基百科中詳細瞭解下
		//數據示例
		String s="prod_cate_disp_id019";
		//split規則
		String ss[]=s.split("\2");
		for(String st:ss){
			System.out.println(st);
		}
	}

關於load函數加載時支持的分隔符類型大家可以參考官網的文檔
下面看在Pig腳本的代碼

Java代碼

--Hadoop技術交流羣415886155
/*Pig支持的分隔符包括
1,任意字符串
2,任意轉義字符
3dec的字符\\u001 或者 \\u002
4十六進行字符 \\x0A \\x0B
*/
--注意這個load時的分隔符代表ASCII的1作爲Pig裏面的dec直接解析方式
a = load '/tmp/dongliang/20150401/20150301/tmp_search_keywords_cate_stat/' using PigStorage('\\u001') ;
/**
注意下面的分割符^B這個符號是脫元字符只會在終端設備上
顯示這個符號代表ASCII的2
*/
a = foreach a generate REGEX_EXTRACT ($0, '(.*)^B(.*)', 2) as time ,
REGEX_EXTRACT ($1, '(.*)^B(.*)', 2) as kw ,
REGEX_EXTRACT ($2, '(.*)^B(.*)', 2) as ic ,
REGEX_EXTRACT ($3, '(.*)^B(.*)', 2) as cid,
REGEX_EXTRACT ($4, '(.*)^B(.*)', 2) as cname,
REGEX_EXTRACT ($5, '(.*)^B(.*)', 2) as pname,
REGEX_EXTRACT ($6, '(.*)^B(.*)', 2) as snt,
REGEX_EXTRACT ($7, '(.*)^B(.*)', 2) as cnt,
REGEX_EXTRACT ($8, '(.*)^B(.*)', 2) as fnt,
REGEX_EXTRACT ($9, '(.*)^B(.*)', 2) as ant,
REGEX_EXTRACT ($10, '(.*)^B(.*)', 2) as pnt ;
--獲取字符串長度
a = foreach a generate SIZE(cid) as len;
--按長度分組
b = group a by len;
--統計各個長度下的數量
c = foreach b generate group, COUNT($1);
--輸出打印
dump c;

--Hadoop技術交流羣415886155
/*Pig支持的分隔符包括
1,任意字符串
2,任意轉義字符
3dec的字符\\u001 或者 \\u002
4十六進行字符 \\x0A  \\x0B
*/
--注意這個load時的分隔符代表ASCII的1作爲Pig裏面的dec直接解析方式
a = load '/tmp/dongliang/20150401/20150301/tmp_search_keywords_cate_stat/' using PigStorage('\\u001') ;

/**

注意下面的分割符^B這個符號是脫元字符只會在終端設備上
顯示這個符號代表ASCII的2
*/
a = foreach a generate   REGEX_EXTRACT ($0, '(.*)^B(.*)', 2) as time ,
                         REGEX_EXTRACT ($1, '(.*)^B(.*)', 2) as kw ,
                         REGEX_EXTRACT ($2, '(.*)^B(.*)', 2) as ic ,
                         REGEX_EXTRACT ($3, '(.*)^B(.*)', 2) as cid,
                         REGEX_EXTRACT ($4, '(.*)^B(.*)', 2) as cname,
                         REGEX_EXTRACT ($5, '(.*)^B(.*)', 2) as pname,
                         REGEX_EXTRACT ($6, '(.*)^B(.*)', 2) as snt,
                         REGEX_EXTRACT ($7, '(.*)^B(.*)', 2) as cnt,
                         REGEX_EXTRACT ($8, '(.*)^B(.*)', 2) as fnt,
                         REGEX_EXTRACT ($9, '(.*)^B(.*)', 2) as ant,
                         REGEX_EXTRACT ($10, '(.*)^B(.*)', 2) as pnt ;

--獲取字符串長度
a = foreach a generate SIZE(cid) as len;
--按長度分組
b = group a by len;
--統計各個長度下的數量
c = foreach b generate group, COUNT($1);
--輸出打印
dump c;

2問題二如何在Apache Solr中查詢某個不分詞的field的長度有多少個記錄

Solr裏面並沒有直接提供這樣類似JAVA裏的lenth這樣的函數或者Pig裏面的SIZE這樣的函數那麼我們應該如何查詢呢

Solr雖然不直接支持這樣的查詢但是我們可以通過正則查詢來變相的實現這個目的用法如下
1查詢固定長度 cid:/.{6}/ 只過濾長度爲6的記錄
2查詢範圍長度 cid:/.{6,9}/ 只過濾長度6到9的記錄
3查詢最少多少長度以上的cid:/.{6}.*/ 長度最少爲6的

3問題三在使用Pig+MapReduce向Solr中批量添加索引時發現無任何錯誤異常但是索引裏卻沒任何數據?

這是一個比較詭異的問題本來散仙覺得應該是程序出問題了但是後來發現同樣的代碼向另外一個collection裏添加數據就很正常查看solr的log發現裏面打印的一些信息如下

Java代碼

INFO - 2015-04-01 21:08:36.097; org.apache.solr.update.DirectUpdateHandler2; start commit{,optimize=false,openSearcher=true,waitSearcher=true,expungeDeletes=false,softCommit=false,prepareCommit=false}
INFO - 2015-04-01 21:08:36.098; org.apache.solr.update.DirectUpdateHandler2; No uncommitted changes. Skipping IW.commit.
INFO - 2015-04-01 21:08:36.101; org.apache.solr.core.SolrCore; SolrIndexSearcher has not changed - not re-opening: org.apache.solr.search.SolrIndexSearcher
INFO - 2015-04-01 21:08:36.102; org.apache.solr.update.DirectUpdateHandler2; end_commit_flush

INFO  - 2015-04-01 21:08:36.097; org.apache.solr.update.DirectUpdateHandler2; start commit{,optimize=false,openSearcher=true,waitSearcher=true,expungeDeletes=false,softCommit=false,prepareCommit=false}
INFO  - 2015-04-01 21:08:36.098; org.apache.solr.update.DirectUpdateHandler2; No uncommitted changes. Skipping IW.commit.
INFO  - 2015-04-01 21:08:36.101; org.apache.solr.core.SolrCore; SolrIndexSearcher has not changed - not re-opening: org.apache.solr.search.SolrIndexSearcher
INFO  - 2015-04-01 21:08:36.102; org.apache.solr.update.DirectUpdateHandler2; end_commit_flush

解釋下上面的信息的意思大概就是說在數據索引完了但是沒有發現有commit的數據所以跳過commit這一點在程序跑的時候是非常奇怪的因爲數據源HDFS裏最少有110萬的數據怎麼會沒有數據呢然後散仙通過谷歌搜索發現也有人發現類似的奇怪情況無任何異常的情況下重建索引成功卻在索引裏沒有看見任何數據而且最爲疑惑的是這幾個網上已經有的案例竟然沒有一個有解決方案。

沒辦法了只好再次查看程序這一次散仙把中間處理好需要建索引的數據給打印出來看一下到底什麼情況結果打印出來的都是一行行空數據原來在使用正則截取數據時原來的分隔符失效了所以導致截取不到數據這下問題基本定位了solr索引裏沒有數據肯定是因爲本來就沒有數據提交導致的那個奇怪的log發生結果在散仙把這個bug修復之後再次重建索引發現這次果然成功了在Solr中也能正常查詢到數據。如果你也發生了類似的情況請首先確保你能正確的獲取到數據不論是從遠程讀取的還是解析wordexcel或者txt裏面的數據都要首先確定能夠正確的把數據解析出來然後如果還是沒建成功可根據solr的log或者拋出的異常提示進行修復。

Apache Pig和Solr問題筆記（一）

AI 畫圖真刺激，手把手教你如何用 ComfyUI 來畫出刺激的圖

公司剛入職了一名 Java 中級開發，短短 4 行代碼居然湊齊了 3 個 bug！我哭了~~

數據展示動態（跑分）顯示

公衆號5月C#/.NET熱文一覽

git 下載大陸鏡像地址

如何給Apache Pig自定義UDF函數？

ElasticSearch入門介紹之安裝部署（二）

Apache Pig的前世今生

SolrCloud6.1.0之SQL查詢測試

如何使用Hive集成Solr?

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結