htmlagilitypack解析Html

一、使用說明:
       1、http://htmlagilitypack.codeplex.com/下載類庫及API; 
       2、項目中引用using HtmlAgilityPack。

二、獲取上傳的文件流並根據文件編碼返回html根節點代碼展示(不包括htmlagilitypack文檔操作代碼):
  

        Stream fileStream = context.Request.Files[0].InputStream; //獲取上傳的文件流
        /// <summary>
        /// 轉換stream爲HtmlNode並返回HtmlDocument根節點
        /// </summary>
        /// <param name="str"></param>
        /// <returns></returns>
        public static HtmlNode streamToHtmlNode(Stream stream)
        {   
            HtmlDocument doc = new HtmlDocument();
            //獲取文件流編碼
            Encoding encode = GetEncodeFromStream(stream);
            stream.Position = 0;
            doc.Load(stream,encode);

            #region 移除html字符串中不必要的腳本、樣式、註釋代碼
            foreach (var script in doc.DocumentNode.Descendants("script").ToArray())
                script.Remove();
            foreach (var style in doc.DocumentNode.Descendants("style").ToArray())
                style.Remove();
            foreach (var comment in doc.DocumentNode.SelectNodes("//comment()").ToArray())
                comment.Remove();
            #endregion

            HtmlNode rootNode = doc.DocumentNode;
            return rootNode;
        }

         /// <summary>
        /// 給定的文件流,讀取文件的二進制數據,判斷文件的編碼類型
        /// </summary>
        /// <param name="fs"></param>
        /// <returns></returns>
        public static System.Text.Encoding GetEncodeFromStream(Stream fs)
        {
            byte[] Unicode = new byte[] { 0xFF, 0xFE, 0x41 };
            byte[] UnicodeBIG = new byte[] { 0xFE, 0xFF, 0x00 };
            byte[] UTF8 = new byte[] { 0xEF, 0xBB, 0xBF }; //帶BOM
            Encoding reVal = Encoding.Default;


            BinaryReader r = new BinaryReader(fs, System.Text.Encoding.Default);
            int i;
            int.TryParse(fs.Length.ToString(), out i);
            byte[] ss = r.ReadBytes(i);
            if (IsUTF8Bytes(ss) || (ss[0] == 0xEF && ss[1] == 0xBB && ss[2] == 0xBF))
            {
                reVal = Encoding.UTF8;
            }
            else if (ss[0] == 0xFE && ss[1] == 0xFF && ss[2] == 0x00)
            {
                reVal = Encoding.BigEndianUnicode;
            }
            else if (ss[0] == 0xFF && ss[1] == 0xFE && ss[2] == 0x41)
            {
                reVal = Encoding.Unicode;
            }
            return reVal;
        }

        /// <summary>
        ///  判斷字節數組是否是不帶BOM的UTF8格式
        /// </summary>
        /// <param name="data"></param>
        /// <returns></returns>
        public static bool IsUTF8Bytes(byte[] data)
        {
            int charByteCounter = 1;  //計算當前正分析的字符應還有的字節數
            byte curByte; //當前分析的字節.
            for (int i = 0; i < data.Length; i++)
            {
                curByte = data[i];
                if (charByteCounter == 1)
                {
                    if (curByte >= 0x80)
                    {
                        //判斷當前
                        while (((curByte <<= 1) & 0x80) != 0)
                        {
                            charByteCounter++;
                        }
                        //標記位首位若爲非0 則至少以2個1開始 如:110XXXXX...........1111110X 
                        if (charByteCounter == 1 || charByteCounter > 6)
                        {
                            return false;
                        }
                    }
                }
                else
                {
                    //若是UTF-8 此時第一位必須爲1
                    if ((curByte & 0xC0) != 0x80)
                    {
                        return false;
                    }
                    charByteCounter--;
                }
            }
            if (charByteCounter > 1)
            {
                //throw new Exception("非預期的byte格式");
            }
            return true;
        }

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章