JAVA版 C語言詞法分析器

    本題目是編譯原理實驗，現在只發布核心代碼，僅供交流，歡迎評論！

 

    實驗要求：

根據編譯中的分詞原理，編寫一個詞法分析程序：

1. 輸入：任意一個C語言程序的源代碼。

2. 處理：對輸入進行分析，分離出保留字、標識符、常量、算符和界符。

3. 輸出：對應的二元式（種別編碼自定，可暫編爲一類對應一個編碼）。

   

 

一、說明

 /**
 *
 * @author 劉小文
 * 本詞法分析器只對一部分進行了分析，並沒有包含全部的信息，暫編一類對應一個編碼
 * (1)關鍵字：二元式定義如下：(單詞種別爲1，關鍵字名稱)   yes
 *       關鍵字表："auto","break","case","char","const","continue","default","do","double","else","enum","extern","float","for","goto","if","int","long","register","return","short","signed","static", "sizeof","struct","switch","typedef","union","unsigned","void","volatile","while" 
 *
 * (2)標識符：二元式定義如下：(單詞種別爲2，標識符名稱)   yes
 *
 * (3)常     數：二元式定義如下：(單詞種別3,常數值)     yes
 *       常數表：整型常數、浮點型常數、布爾型常數、字符型常數、字符串
 *
 * (4)運算符：二元式定義如下：(單詞種別4,運算符)     no 三目運算符沒有判斷
 *    運算符表：+、+=、++、-、-=、--、*、*=、/、/=、%、%=、>、>=、<、<=、=、==、!、!= 、. 、->、>>、<<、&、&&、||、||、~、^  
 *
 * (5)界    符：二元式定義如下：(單詞種別5,界符)      yes
 *    界符表：#、;、,、(、)、{、}、[、]
 *   
 *                   no 不加雙引號的漢字誤判爲標識符，應爲非法字符 ；加雙引號的漢字，正確的判斷爲字符串常數
 */

二、詞法分析器核心代碼

Thread lexer = new Thread() { public void run() { //下面是預處理代碼,去除註釋、換行符等 String pretreatment = sourceTa.getText().replaceAll("//////[^//n]*|/////*([^//*^///]*|[//*^///*]*|[^//**///]*)*//*///", "");//去除註釋，//和/**/ pretreatment = pretreatment.replaceAll("//s+", " ");//去掉多餘的空白符，一個以上的用空格來代替 int m=0;//前進指針 String temp = new String();//暫存單詞符號 char[] pretreatArray=pretreatment.toCharArray();//C語言源代碼，字節數組pretreatArray //下面是進行單詞符號分離，進行判斷類型 while(m<pretreatArray.length) { if(Character.isSpace(pretreatArray[m]))//該字符是空格 { m++;//指向下一個 } //*********************************************關鍵字1和標識符2********************************************************************** else if(Character.isLetter(pretreatArray[m])||pretreatArray[m] == '_')//該字符是字母 { //不是界符和算符的單詞符號，暫存到temp中 while(m<pretreatArray.length&& !Character.isSpace(pretreatArray[m])&& pretreatArray[m]!='('&& pretreatArray[m]!=')'&&pretreatArray[m]!='['&& pretreatArray[m]!=']'&& pretreatArray[m]!='{'&& pretreatArray[m]!='}'&& pretreatArray[m]!='+'&& pretreatArray[m]!='-'&& pretreatArray[m]!='*'&& pretreatArray[m]!='%'&& pretreatArray[m]!='/'&& pretreatArray[m]!='>'&& pretreatArray[m]!='<'&& pretreatArray[m]!='='&& pretreatArray[m]!='!'&& pretreatArray[m]!=','&& pretreatArray[m]!=';'&& pretreatArray[m]!='"'&& pretreatArray[m]!='.'&& pretreatArray[m]!='/''&& pretreatArray[m]!='//') { temp=temp+temp.valueOf(pretreatArray[m]); m++; } int key = 0; //判斷是不是關鍵字，關鍵字key置爲1 for(int i = 0;i < keyWords.length;i++) { if(temp.equals(keyWords[i])) { setDocs(temp+"/t"+"關鍵字"+"/t"+"二元式爲：(1 ,"+temp+" )"+"/n",Color.blue,false,15);//輸出二元式 key = 1;//****************關鍵字**************** break; } } if(key == 0)//布爾型常數和自定義變量,由字母、數字和下劃線組成，第一個字符必須爲字母或下劃線 { int p=1; for(int i=0;i<temp.length();i++) { if(!Character.isLetter(temp.charAt(i))&&!Character.isDigit(temp.charAt(i))&&temp.charAt(i)!='_') p=0;//非法標識符 } if(p == 1&&(temp.equalsIgnoreCase("true")||temp.equalsIgnoreCase("false")))//****************布爾型常數************************ { setDocs(temp+"/t"+"常數"+"/t"+"二元式爲：(3 ,"+temp+" )"+"/n",Color.black,false,15);//輸出二元式 } else if(p == 1)//****************標識符**************** { setDocs(temp+"/t"+"標識符"+"/t"+"二元式爲：(2 ,"+temp+" )"+"/n",Color.orange,false,15);//輸出二元式 } else { setDocs(temp+"/t"+"非法標識符"+"/n",Color.red,true,15); } } temp=""; } //**************************************************************常數3************************************************************ else if(Character.isDigit(pretreatArray[m]))//該字符是數字 { boolean flag=false; int mn=0; int xy=0; int ab=0; //得到常數，得到一個非 界符和算符的單詞符號，保存到temp中（即爲以數字開頭的關鍵字、變量名（即爲非法字符）和常數） while(m<pretreatArray.length&& !Character.isSpace(pretreatArray[m])&& pretreatArray[m]!='('&& pretreatArray[m]!=')'&& pretreatArray[m]!='['&& pretreatArray[m]!=']'&& pretreatArray[m]!='{'&& pretreatArray[m]!='}'&& pretreatArray[m]!='+'&&pretreatArray[m]!='*'&& pretreatArray[m]!='%'&& pretreatArray[m]!='/'&& pretreatArray[m]!='>'&& pretreatArray[m]!='<'&& pretreatArray[m]!='='&&pretreatArray[m]!='!'&& pretreatArray[m]!=','&& pretreatArray[m]!=';'&& pretreatArray[m]!='"'&& pretreatArray[m]!='/''&& pretreatArray[m]!='//'|| ((m<pretreatArray.length && Character.isDigit(pretreatArray[m]))||(m<pretreatArray.length && pretreatArray[m]=='.')||(m<pretreatArray.length && Character.isLetter(pretreatArray[m])))) { temp=temp+temp.valueOf(pretreatArray[m]); m++; } //mn=0時該單詞符號是純常數 for(int i=0;i<temp.length();i++) { if(temp.charAt(i)!='.'&& !Character.isDigit(temp.charAt(i))) { mn=1; break; } } if(mn==0)//該單詞符號是純常數 { for(int k=0;k<temp.length();k++) { if(temp.charAt(k)=='.') flag=true; } if(flag)//***************浮點型****************** { try{ setDocs(temp+"/t"+"常數"+"/t"+"二元式爲：(3 ,"+temp+" )"+"/n",Color.black,false,15);//輸出二元式 }catch(Exception ex){ setDocs(temp+"/t"+"非法標識符"+"/n",Color.red,true,15); } } else //*********************整型****************** { try{ setDocs(temp+"/t"+"常數"+"/t"+"二元式爲：(3 ,"+temp+" )"+"/n",Color.black,false,15);//輸出二元式 }catch(Exception ex){ setDocs(temp+"/t"+"非法標識符"+"/n",Color.red,true,15); } } } else //****************浮點型（科學計數法）或非法字符************** { for(int i=0;i<temp.length();i++) if(Character.isLetter(temp.charAt(i))||temp.charAt(i)=='-') { ++xy;//非數字字符的個數 ab=i; } //e或E之前必須有數字，且e或E後面的指數必須爲整數 if(xy==1 && (temp.charAt(ab)=='e' || temp.charAt(ab)=='E')) { try{ Integer.parseInt(temp.substring(ab+1));//判斷e或E後面的指數爲整數，不是整數執行catch語句 setDocs(temp+"/t"+"常數"+"/t"+"二元式爲：(3 ,"+temp+" )"+"/n",Color.black,false,15);//輸出二元式 }catch(Exception ex){ setDocs(temp+"/t"+"非法標識符"+"/n",Color.red,true,15); } } else if(xy==1 && temp.charAt(ab)=='-') { setDocs(temp.substring(0, ab)+"/t"+"常數"+"/t"+"二元式爲：(3 ,"+temp.substring(0, ab)+" )"+"/n",Color.black,false,15);//輸出二元式 m = ab; } else if(xy==2 &&Character.isDigit(temp.charAt(ab-2))&& (temp.charAt(ab-1)=='e' || temp.charAt(ab-1)=='E') && temp.charAt(ab)=='-') { try{ Integer.parseInt(temp.substring(ab+1));//判斷e或E後面的指數爲整數，不是整數執行catch語句 setDocs(temp+"/t"+"常數"+"/t"+"二元式爲：(3 ,"+temp+" )"+"/n",Color.black,false,15);//輸出二元式 }catch(Exception ex){ setDocs(temp+"/t"+"非法標識符"+"/n",Color.red,true,15); } } else { setDocs(temp+"/t"+"非法標識符"+"/n",Color.red,true,15); } xy = 0; ab = 0; } temp=""; } else if(pretreatArray[m]=='/'')//**************字符型*********'abc'**************** { m++; while(m<pretreatArray.length) { if(pretreatArray[m]!='/'') { temp = temp+pretreatArray[m]; m++; } else break; } if(m == pretreatArray.length) { setDocs("'"+temp+"/t"+"非法標識符"+"/n",Color.red,true,15); } else { setDocs("'"+temp+"'"+"/t"+"常數"+"/t"+"二元式爲：(3 ,"+"'"+temp+"'"+" )"+"/n",Color.black,false,15);//輸出二元式 m++; } temp = ""; } // else if(pretreatArray[m]=='//')//************字符型********/n等轉義字符******************* // { // m++; // if(pretreatArray[m]=='n'||pretreatArray[m]=='t'||pretreatArray[m]=='b'||pretreatArray[m]=='r'||pretreatArray[m]=='f'||pretreatArray[m]=='//'||pretreatArray[m]=='/''||pretreatArray[m]=='"'||pretreatArray[m]=='0'||pretreatArray[m]=='a') // { // setDocs("//"+pretreatArray[m]+"/t"+"常數"+"/t"+"二元式爲：(3 ,"+"//"+pretreatArray[m]+" )"+"/n",Color.black,false,15);//輸出二元式 // m++; // } // } else if(pretreatArray[m]=='"')//**************字符串常數********"abc"**************** { m++; while(m<pretreatArray.length) { if(pretreatArray[m]!='"') { temp = temp+pretreatArray[m]; m++; } else break; } if(m == pretreatArray.length) { setDocs("/""+temp+"/t"+"非法標識符"+"/n",Color.red,true,15); } else { setDocs("/""+temp+"/""+"/t"+"常數"+"/t"+"二元式爲：(3 ,"+"/""+temp+"/""+" )"+"/n",Color.black,false,15);//輸出二元式 m++; } temp = ""; } //*************************************************運算符4***************************************************************** else if(pretreatArray[m]=='+')//*************** + **************** { m++; if(m<pretreatArray.length && Character.isDigit(pretreatArray[m]))//+後跟數字 { setDocs("+"+"/t"+"運算符"+"/t"+"二元式爲：(4 ,+ )"+"/n",Color.green,false,15);//輸出二元式 + } else if(m<pretreatArray.length&& pretreatArray[m]=='+')//+後跟+ { m++; if(m<pretreatArray.length &&pretreatArray[m] == '+')//看是不是+++ { setDocs("+++"+"/t"+"非法標識符"+"/n",Color.red,true,15); m++; } else//++後面跟着除了+之外的字符 { setDocs("++"+"/t"+"運算符"+"/t"+"二元式爲：(4 ,++ )"+"/n",Color.green,false,15);//輸出二元式 ++ } } else if(m<pretreatArray.length&& pretreatArray[m]=='=')//+後跟= { setDocs("+="+"/t"+"運算符"+"/t"+"二元式爲：(4 ,+= )"+"/n",Color.green,false,15);//輸出二元式 += m++; } else //+後跟除了數字或+或=之外的字符 { m--; setDocs("+"+"/t"+"運算符"+"/t"+"二元式爲：(4 ,+ )"+"/n",Color.green,false,15);//輸出二元式 + m++; } temp=""; } else if(pretreatArray[m]=='-')//*************** - **************** { m++; if(m<pretreatArray.length && Character.isDigit(pretreatArray[m]))//-後跟數字 { setDocs("-"+"/t"+"運算符"+"/t"+"二元式爲：(4 ,- )"+"/n",Color.green,false,15);//輸出二元式 - } else if(m<pretreatArray.length&& pretreatArray[m]=='-')//-後跟- { m++; if(m<pretreatArray.length &&pretreatArray[m] == '-')//看是不是--- { setDocs("---"+"/t"+"非法標識符"+"/n",Color.red,true,15); m++; } else//--後面跟着除了-之外的字符 { setDocs("--"+"/t"+"運算符"+"/t"+"二元式爲：(4 ,-- )"+"/n",Color.green,false,15);//輸出二元式 -- } } else if(m<pretreatArray.length&& pretreatArray[m]=='=')//-後跟= { setDocs("-="+"/t"+"運算符"+"/t"+"二元式爲：(4 ,-= )"+"/n",Color.green,false,15);//輸出二元式 -= m++; } else if(m<pretreatArray.length&& pretreatArray[m]=='>')//-> { setDocs("->"+"/t"+"運算符"+"/t"+"二元式爲：(4 ,-> )"+"/n",Color.green,false,15);//輸出二元式 -= m++; } else //-後跟除了數字 - =之外的字符 { m--; setDocs("-"+"/t"+"運算符"+"/t"+"二元式爲：(4 ,- )"+"/n",Color.green,false,15);//輸出二元式 + m++; } temp=""; } else if(pretreatArray[m]=='*'||pretreatArray[m]=='%'||pretreatArray[m]=='/'||pretreatArray[m]=='>'||pretreatArray[m]=='<'||pretreatArray[m]=='='||pretreatArray[m]=='!') { temp = temp.valueOf(pretreatArray[m]); try{ char next = pretreatArray[++m]; if((temp.charAt(0) == '>'&&next == '>') || (temp.charAt(0) == '<'&&next == '<'))// >> << { setDocs(temp+next+"/t"+"運算符"+"/t"+"二元式爲：(4 ,"+temp+next+" )"+"/n",Color.green,false,15);//輸出二元式 m++; } else if(next == '=') { setDocs(temp+"="+"/t"+"運算符"+"/t"+"二元式爲：(4 ,"+temp+"="+" )"+"/n",Color.green,false,15);//輸出二元式 m++; } else { setDocs(temp+"/t"+"運算符"+"/t"+"二元式爲：(4 ,"+temp+" )"+"/n",Color.green,false,15);//輸出二元式 } } catch(Exception ex){ setDocs(temp+"/t"+"運算符"+"/t"+"二元式爲：(4 ,"+temp+" )"+"/n",Color.green,false,15);//輸出二元式 } temp = ""; } else if(pretreatArray[m]=='&'||pretreatArray[m]=='|') { temp = temp.valueOf(pretreatArray[m]); try{ if(pretreatArray[++m] == temp.charAt(0))//&& || { setDocs(temp+temp+"/t"+"運算符"+"/t"+"二元式爲：(4 ,"+temp+temp+" )"+"/n",Color.green,false,15);//輸出二元式 m++; } else { setDocs(temp+"/t"+"運算符"+"/t"+"二元式爲：(4 ,"+temp+" )"+"/n",Color.green,false,15);//輸出二元式 } } catch(Exception ex){ setDocs(temp+"/t"+"運算符"+"/t"+"二元式爲：(4 ,"+temp+" )"+"/n",Color.green,false,15);//輸出二元式 } temp = ""; } else if(pretreatArray[m]=='.'||pretreatArray[m]=='~'||pretreatArray[m]=='^') { setDocs(pretreatArray[m]+"/t"+"運算符"+"/t"+"二元式爲：(4 ,"+pretreatArray[m]+" )"+"/n",Color.green,false,15);//輸出二元式 m++; } //********************************************************界符5******************************************************************** else if(pretreatArray[m]=='#'||pretreatArray[m]==';'||pretreatArray[m]==','|| pretreatArray[m]=='('||pretreatArray[m]==')'||pretreatArray[m]=='{'||pretreatArray[m]=='}'|| pretreatArray[m]=='['||pretreatArray[m]==']') { setDocs(pretreatArray[m]+"/t"+"界符"+"/t"+"二元式爲：(5 ,"+pretreatArray[m]+" )"+"/n",Color.cyan,false,15);//輸出二元式 m++; } //******************************************************非法標識符******************************************************************* else { while(m<pretreatArray.length&& !Character.isSpace(pretreatArray[m])&& pretreatArray[m]!='('&& pretreatArray[m]!=')'&&pretreatArray[m]!='['&& pretreatArray[m]!=']'&& pretreatArray[m]!='{'&& pretreatArray[m]!='}'&& pretreatArray[m]!='+'&& pretreatArray[m]!='-'&& pretreatArray[m]!='*'&& pretreatArray[m]!='%'&& pretreatArray[m]!='/'&& pretreatArray[m]!='>'&& pretreatArray[m]!='<'&& pretreatArray[m]!='='&& pretreatArray[m]!='!'&& pretreatArray[m]!=','&& pretreatArray[m]!=';'&& pretreatArray[m]!='"'&& pretreatArray[m]!='.'&& pretreatArray[m]!='/''&& pretreatArray[m]!='//') { temp=temp+temp.valueOf(pretreatArray[m]); m++; } setDocs(temp+"/t"+"非法標識符"+"/n",Color.red,true,15); } } } };

 

三、運行結果