Html to Txt in C++

  

October 21

Html to Txt in C++

convert html to txt

html parser

C++;

本程序可以用來處理spider爬下來的網頁，提取其文本，去除html的tag；

本程序用於批量轉換某個文件夾下面所有的html文件；

 

程序總共分爲2部分，一部分是列出該文件夾下所有的文件(用C++遍歷一個文件夾下面所有的文件 Zz)

另一方面是將html轉換爲txt

 

點擊此處下載完整版本

 

1. October 21
2. Html to Txt in C++
3. convert html to txt
4. html parser
5. C++;
6. 本程序可以用來處理spider爬下來的網頁，提取其文本，去除html的tag；
7. 本程序用於批量轉換某個文件夾下面所有的html文件；
8. 
   
9. 程序總共分爲2部分，一部分是列出該文件夾下所有的文件(用C++遍歷一個文件夾下面所有的文件 Zz)
10. 另一方面是將html轉換爲txt
11. 
    
12. 點擊此處下載完整版本
13. 
    
14. 
    
15. 
    
16. --------------------------------------------------------------------------------
17. 
    
18. /*
19. This code is to convert all html documents under c:/WT2G/ into text documents
20.   Reference class ffsco and Html2txt codes;
21.   By Super.jiju
22.   [email protected]
23.   super-jiju.spaces.live.com
24.   Oct 22,2008;
25. */
26. #include <stdio.h>
27. #include <stdlib.h>
28. #include <windows.h>
29. #include <locale.h>
30. #include <string>
31. #include "ffsco.h"
32. void UnicodeToGB2312(char* pOut,unsigned short uData)
33. {
34.  WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(WCHAR),NULL,NULL);
35.  return;
36. }
37. 
    
38. #define BUFSIZE 1024*1024*2
39. char buf[1024*1024*20];
40. char shadowbuf[1024*1024*20];
41. char buffer[BUFSIZE];
42. long size;
43. int type=0;
44. FILE* fin=0,*fout=0;
45. #define tocsize 14
46. char* toc[tocsize]={" "," ","<","<",">",">",""","/"","&","&","©","◎版權","®","◎註冊"};
47. //------list all file under the special folder
48. typedef helper_coffs::ffsco::typeT filesc;
49. filesc getfile(string mypath)
50. {
51.  helper_coffs::ffsco myfile;
52.  myfile.dirs(1);
53.  myfile.find(mypath);
54.  filesc  content;
55.  content=myfile.co_file();
56.  return content;
57. }
58. //strstr快速比較
59. int ministrstr(char* s,char* f)
60. {
61.  char minibuf[16];
62.  memcpy(minibuf,s,15);
63.  minibuf[15]=0;
64.  return strstr(minibuf,f)-minibuf;
65. };
66. 
    
67. //strstr轉換爲小寫快速比較。
68. int ministrstri(char* s,char *f)
69. {
70.  char minibuf[16];
71.  memcpy(minibuf,s,15);
72.  minibuf[15]=0;
73.  strlwr(minibuf);
74.  return strstr(minibuf,f)-minibuf;
75. }
76. // 等標記轉換
77. int isintoc(char* streamstart)
78. {
79.  int i=0;
80.  int ret=0;
81.  while(i<tocsize)
82.  {
83.   if(!ministrstr(streamstart,toc[i]))
84.   {
85.     fprintf(fout,"%s",toc[i+1]);
86.    ret=strlen(toc[i]);
87.    break;
88.   };
89.   i+=2;
90.  };
91.  if(ret==0) //沒有轉換處理
92.  {
93.   fprintf(fout,"&");
94.   ret=1;
95.  };
96.  return ret;
97. };
98. 
    
99. 
    
100. int num2txt(char* numstart)
101. {
102.  char tmp[256];
103.  int pos=0;
104.  char* s=numstart;
105.  unsigned short word;
106.  char os[3];
107.  while( *s>='0' && *s <='9' )
108.  {
109.   tmp[pos++]=*s++;
110.  };
111.  tmp[pos]=0;
112.  word=atoi(tmp);
113.  memset(os,0,3);
114.  UnicodeToGB2312(os,word);
115.  fprintf(fout,"%s",os);
116.  //s是;跳過
117.  s++;
118.  return  s-numstart;
119. }
120. 
     
121. //文件全部進入緩存
122. void read2buf(FILE* fp)
123. {
124.  buf[0]=0;
125.  size=0;
126.  while(!feof(fp))
127.  {
128.   fgets(buffer,sizeof(buffer),fp);
129.   strcat(buf+size,buffer);
130.   size+=strlen(buffer);
131.  };
132.  buf[size]=0;
133.  memcpy(shadowbuf,buf,size+1);
134.  strlwr(shadowbuf);
135. };
136. 
     
137. //找標記的開始位置。返回找到後'>'之後的第一個字符位置。
138. int findstart(char* start,int jump)
139. {
140.  char* pos=shadowbuf;
141.  strlwr(start);
142.  do
143.  {
144.   pos=strstr(pos,start);
145.   if(pos-shadowbuf < 0 )return -1;
146.   pos++;
147.  }while(jump--);
148.  while(*pos++ != '>')
149.  {};
150.  return pos-shadowbuf;
151. };
152. //找標記的結束位置。返回找到後'<'之前的最後字符位置。
153. int findend(char* end,int start)
154. {
155.  char* pos=shadowbuf+start;
156.  strlwr(end);
157.  pos=strstr(pos,end);
158.  if(pos-shadowbuf<0)return -1;
159.  while(*pos-- != '<')
160.  {};
161.  return pos-shadowbuf;
162. };
163. 
     
164. void printline()
165. {
166.  switch(type)
167.  {
168.   case 1:
169.   fprintf(fout,"%c",'/r');
170.   break;
171.   case 2:
172.   fprintf(fout,"%s","/r/n");
173.   break;
174.   case 3:
175.   fprintf(fout,"%c",'/n');
176.   break;
177.   default:
178.   break;
179.  };
180. };
181. 
     
182. //轉換輸出
183. void h2t(char* s,int len)
184. {
185.  char* ss=s;
186.  while(ss-s<len)
187.  {
188.   //判斷一下文章換行符號類型
189.   if(type==0 && ( *ss=='/r'|| *ss=='/n'))
190.   {
191.    if(*ss=='/r' &&*(ss+1)=='/n')
192.    {
193.     type=2;
194.    }else if(*ss=='/n')
195.    {
196.     type=3;
197.    }else
198.    {
199.     type=1;
200.    };
201.   };
202.   if(*ss!='<')
203.   {//非標記
204.    if(*ss=='&')
205.    {
206.     if(*(ss+1)=='#')
207.     {
208.      ss+=2;
209.      int may=num2txt(ss);
210.       ss+=may;
211.     }else
212.     {
213.      int may=isintoc(ss);
214.      if(may>0)
215.      {
216.       ss+=may;
217.      };
218.     }
219.    }
220.       else
221.    {
222.     fprintf(fout,"%c",*ss);
223.     ss++;
224.    };
225.   }
226.   else
227.   {
228.    //<script標記
229.    if(!ministrstri(ss,"<script"))
230.    {
231.     ss++;
232.     findnext:
233.     while(*ss!='<' && ss-s <len)
234.     {
235.      ss++;
236.     };
237. 
     
238.     if(ss-s>=len)break;
239.     while(ministrstri(ss,"</script")!=0 && ss-s<len)
240.     {
241.      ss++;
242.      goto findnext;
243.     };
244.     if(ss-s>=len)break;
245.     while(*ss!='>')ss++;
246.     ss++;
247.    }else if(!ministrstri(ss,"<style")) //<style標記
248.    {
249.     ss++;
250.     findnext2:
251.     while(*ss!='<' && ss-s <len)
252.     {
253.      ss++;
254.     };
255.     if(ss-s>=len)break;
256.     while(ministrstri(ss,"</style")!=0 && ss-s<len)
257.     {
258.      ss++;
259.      goto findnext2;
260.     };
261.     if(ss-s>=len)break;
262.     while(*ss!='>')ss++;
263.     ss++;
264.    }else if(!ministrstri(ss,"</br>"))
265.    {
266.    // printline();
267.     ss+=5;
268.    }else if(!ministrstri(ss,"</p>"))
269.    {
270.  //   printline();
271.    ss+=4;
272.    }else if(!ministrstri(ss,"<br>"))
273.    {
274.    // printline();
275.     ss+=4;
276.    }
277.    else //普通標記
278.    {
279.     while(*ss!='>' && ss-s<len)
280.     {
281.      ss++;
282.     };
283.     if(ss-s>=len)break;
284.     ss++;
285.    };
286.   };
287.  };
288. };
289. 
     
290. int main(void)
291. {
292.  std::string mypath="C://WT2G//";
293.  filesc content=getfile(mypath);
294. 
     
295.  for (helper_coffs::ffsco::typeT::iterator it = content.begin(); content.end() != it; it ++)
296.  {
297.    std::string filename;
298.    filename=*it;
299.    std::string writefile=filename+".txt";
300.    fin=fopen(filename.c_str(),"r");
301.    fout=fopen(writefile.c_str(),"w");
302.    if(!fin)
303.    {
304.     exit(0);
305.    };
306.    read2buf(fin);
307.    h2t(buf,size);
308.    fclose(fin);
309.    fclose(fout);
310.  }
311.  system("pause");
312.  return 0;
313. }
314.