C++中讀取一段文字並按特定字符分詞

1、將句子按照某種特性的詞，分開，比如將字符串按照“ ”，“；”“#”“tab”等斷開成小句子，代碼如下：

int Sentence_Split(const char* str, std::vector<std::string>* vectWords)
{
         char seps[]=" ;#　　　　";//空格,分號，#，tab鍵

         char *token;

         char * strTemp=new char[strlen(str)+1];//這裏要複製，因爲要動實參
         strcpy(strTemp,str);
 
         token = std::strtok( strTemp, seps );
         while(token!=NULL)
         {
               vectWords->push_back(token);
                token=std::strtok(NULL,seps);
         }
         delete []strTemp;
         return vectWords->size();
}

2、文檔中讀取一段文字，並將句首和句尾某種元素去掉，比如：“空格”或者“#”

 char* strFileName="****.txt";
 ifstream streamIn;
 string strLine;
 char   strTemp[100];//用來暫時保存切詞的詞，不會太長
 streamIn.open(strFileName);
 if (!streamIn)//判斷是否打開成功
  return;
 vector<string>* vectWords;
 char*token,*token2;
 while(getline(streamIn,strLine))
 {  
          if(strLine.empty())
                  continue;
          strLine.erase(0,strLine.find_first_not_of("　　")); //把前面Tab鍵去掉去掉

          strLine.erase(0,strLine.find_first_not_of("#")); //把字符串前面的#去掉
          strLine.erase(strLine.find_last_not_of("#") + 1);//把字符串後面的#去掉

          .........
  }