asp.net采集函数

Biegral 2018/12/25 1:57:17 1794

  1. using System; 
  2. using System.Data; 
  3. using System.Configuration; 
  4. using System.Web; 
  5. using System.Web.Security; 
  6. using System.Web.UI; 
  7. using System.Web.UI.WebControls; 
  8. using System.Web.UI.WebControls.WebParts; 
  9. using System.Web.UI.HtmlControls; 
  10. using MSXML2; 
  11. using System.Text.RegularExpressions; 
  12. namespace EC 
  13. { 
  14.     /// 
  15.     /// 远程文件抓取类 
  16.     /// 
  17.     public class GetRemoteObj 
  18.     { 
  20.         #region 构造与析构函数 
  21.         public GetRemoteObj() 
  22.         { 
  23.             // 
  24.             // TODO: 在此处添加构造函数逻辑 
  25.             // 
  26.         } 
  27.         ~GetRemoteObj() 
  28.         { 
  29.             Dispose(); 
  30.         } 
  31.         #endregion 
  33.         #region IDisposable 成员 
  35.         public void Dispose() 
  36.         { 
  37.             GC.SuppressFinalize(this); 
  38.         } 
  40.         #endregion 
  42.         #region 日期随机函数 
  43.         /********************************** 
  44.          * 函数名称:DateRndName 
  45.          * 功能说明:日期随机函数 
  46.          * 参    数:ra:随机数 
  47.          * 调用示例: 
  48.          *          GetRemoteObj o = new GetRemoteObj(); 
  49.          *          Random ra = new Random(); 
  50.          *          string s = o.DateRndName(ra); 
  51.          *          Response.Write(s); 
  52.          *          o.Dispose(); 
  53.          * ********************************/ 
  54.         /// 
  55.         /// 日期随机函数 
  56.         /// 
  57.         /// 随机数 
  58.         /// 
  59.         public string DateRndName(Random ra) 
  60.         { 
  61.             DateTime d = DateTime.Now; 
  62.             string s = null, y, m, dd, h, mm, ss; 
  63.             y = d.Year.ToString(); 
  64.             m = d.Month.ToString(); 
  65.             if (m.Length < 2) m = "0" + m; 
  66.             dd = d.Day.ToString(); 
  67.             if (dd.Length < 2) dd = "0" + dd; 
  68.             h = d.Hour.ToString(); 
  69.             if (h.Length < 2) h = "0" + h; 
  70.             mm = d.Minute.ToString(); 
  71.             if (mm.Length < 2) mm = "0" + mm; 
  72.             ss = d.Second.ToString(); 
  73.             if (ss.Length < 2) ss = "0" + ss; 
  74.             s += y + m + dd + h + mm + ss; 
  75.             s += ra.Next(100, 999).ToString(); 
  76.             return s; 
  77.         } 
  78.         #endregion 
  80.         #region 取得文件后缀 
  81.         /********************************** 
  82.          * 函数名称:GetFileExtends 
  83.          * 功能说明:取得文件后缀 
  84.          * 参    数:filename:文件名称 
  85.          * 调用示例: 
  86.          *          GetRemoteObj o = new GetRemoteObj(); 
  87.          *          string url = @"http://www.baidu.com/img/logo.gif"; 
  88.          *          string s = o.GetFileExtends(url); 
  89.          *          Response.Write(s); 
  90.          *          o.Dispose(); 
  91.          * ********************************/ 
  92.         /// 
  93.         /// 取得文件后缀 
  94.         /// 
  95.         /// 文件名称 
  96.         /// 
  97.         public string GetFileExtends(string filename) 
  98.         { 
  99.             string ext = null; 
  100.             if (filename.IndexOf('.') > 0) 
  101.             { 
  102.                 string[] fs = filename.Split('.'); 
  103.                 ext = fs[fs.Length - 1]; 
  104.             } 
  105.             return ext; 
  106.         } 
  107.         #endregion 
  109.         #region 获取远程文件源代码 
  110.         /********************************** 
  111.          * 函数名称:GetRemoteHtmlCode 
  112.          * 功能说明:获取远程文件源代码 
  113.          * 参    数:Url:远程url 
  114.          * 调用示例: 
  115.          *          GetRemoteObj o = new GetRemoteObj(); 
  116.          *          string url = @"http://www.baidu.com"; 
  117.          *          string s = o.GetRemoteHtmlCode(url); 
  118.          *          Response.Write(s); 
  119.          *          o.Dispose(); 
  120.          * ********************************/ 
  121.         /// 
  122.         /// 获取远程文件源代码 
  123.         /// 
  124.         /// 远程url 
  125.         /// 
  126.         public string GetRemoteHtmlCode(string Url) 
  127.         { 
  128.             string s = ""; 
  129.             MSXML2.XMLHTTP _xmlhttp = new MSXML2.XMLHTTPClass(); 
  130.             _xmlhttp.open("GET", Url, false, null, null); 
  131.             _xmlhttp.send(""); 
  132.             if (_xmlhttp.readyState == 4) 
  133.             { 
  134.                 s = System.Text.Encoding.Default.GetString((byte[])_xmlhttp.responseBody); 
  135.             } 
  136.             return s; 
  137.         } 
  139.         #endregion 
  141.         #region 保存远程文件 
  142.         /********************************** 
  143.          * 函数名称：RemoteSave 
  144.          * 功能说明：保存远程文件 
  145.          * 参    数：Url:远程url;Path:保存到的路径 
  146.          * 调用示例: 
  147.          *          GetRemoteObj o = new GetRemoteObj(); 
  148.          *          string s = ""; 
  149.          *          string url = @"http://www.baidu.com/img/logo.gif"; 
  150.          *          string path =Server.MapPath("Html/"); 
  151.          *          s = o.RemoteSave(url,path); 
  152.          *          Response.Write(s); 
  153.          *          o.Dispose();          
  154.          * ******************************/ 
  155.         /// 
  156.         /// 保存远程文件 
  157.         /// 
  158.         /// 远程url 
  159.         /// 保存到的路径 
  160.         /// 
  161.         public string RemoteSave(string Url, string Path) 
  162.         { 
  163.             Random ra = new Random(); 
  164.             string StringFileName = DateRndName(ra) + "." + GetFileExtends(Url); 
  165.             string StringFilePath = Path + StringFileName; 
  166.             MSXML2.XMLHTTP _xmlhttp = new MSXML2.XMLHTTPClass(); 
  167.             _xmlhttp.open("GET", Url, false, null, null); 
  168.             _xmlhttp.send(""); 
  169.             if (_xmlhttp.readyState == 4) 
  170.             { 
  171.                 if (System.IO.File.Exists(StringFilePath)) 
  172.                     System.IO.File.Delete(StringFilePath); 
  173.                 System.IO.FileStream fs = new System.IO.FileStream(StringFilePath, System.IO.FileMode.CreateNew); 
  174.                 System.IO.BinaryWriter w = new System.IO.BinaryWriter(fs); 
  175.                 w.Write((byte[])_xmlhttp.responseBody); 
  176.                 w.Close(); 
  177.                 fs.Close(); 
  178.             } 
  179.             else 
  180.                 throw new Exception(_xmlhttp.statusText); 
  181.             return StringFileName; 
  182.         } 
  183.         #endregion 
  184.         #region 替换网页中的换行和引号 
  185.         /********************************** 
  186.          * 函数名称:ReplaceEnter 
  187.          * 功能说明:替换网页中的换行和引号 
  188.          * 参    数:HtmlCode:html源代码 
  189.          * 调用示例: 
  190.          *          GetRemoteObj o = new GetRemoteObj(); 
  191.          *          string Url = @"http://www.baidu.com"; 
  192.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url); 
  193.          *          string s = o.ReplaceEnter(HtmlCode); 
  194.          *          Response.Write(s); 
  195.          *          o.Dispose(); 
  196.          * ********************************/ 
  197.         /// 
  198.         /// 替换网页中的换行和引号 
  199.         /// 
  200.         /// HTML源代码 
  201.         /// 
  202.         public string ReplaceEnter(string HtmlCode) 
  203.         { 
  204.             string s = ""; 
  205.             if (HtmlCode == null || HtmlCode == "") 
  206.                 s = ""; 
  207.             else 
  208.                 s = HtmlCode.Replace("/"", ""); 
  209.             s = s.Replace("/r/n", ""); 
  210.             return s; 
  211.         } 
  213.         #endregion 
  215.         #region 执行正则提取出值 
  216.         /********************************** 
  217.          * 函数名称:GetRegValue 
  218.          * 功能说明:执行正则提取出值 
  219.          * 参    数:HtmlCode:html源代码 
  220.          * 调用示例: 
  221.          *          GetRemoteObj o = new GetRemoteObj(); 
  222.          *          string Url = @"http://www.baidu.com"; 
  223.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url); 
  224.          *          string s = o.ReplaceEnter(HtmlCode); 
  225.          *          string Reg=""; 
  226.          *          string GetValue=o.GetRegValue(Reg,HtmlCode) 
  227.          *          Response.Write(GetValue); 
  228.          *          o.Dispose(); 
  229.          * ********************************/ 
  230.         /// 
  231.         /// 执行正则提取出值 
  232.         /// 
  233.         /// 正则表达式 
  234.         /// HtmlCode源代码 
  235.         /// 
  236.         public string GetRegValue(string RegexString, string RemoteStr) 
  237.         { 
  238.             string MatchVale = ""; 
  239.             Regex r = new Regex(RegexString); 
  240.             Match m = r.Match(RemoteStr); 
  241.             if (m.Success) 
  242.             { 
  243.                 MatchVale = m.Value; 
  244.             } 
  245.             return MatchVale; 
  246.         } 
  247.         #endregion 
  249.         #region 替换HTML源代码 
  250.         /********************************** 
  251.          * 函数名称:RemoveHTML 
  252.          * 功能说明:替换HTML源代码 
  253.          * 参    数:HtmlCode:html源代码 
  254.          * 调用示例: 
  255.          *          GetRemoteObj o = new GetRemoteObj(); 
  256.          *          string Url = @"http://www.baidu.com"; 
  257.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url); 
  258.          *          string s = o.ReplaceEnter(HtmlCode); 
  259.          *          string Reg=""; 
  260.          *          string GetValue=o.GetRegValue(Reg,HtmlCode) 
  261.          *          Response.Write(GetValue); 
  262.          *          o.Dispose(); 
  263.          * ********************************/ 
  264.         /// 
  265.         /// 替换HTML源代码 
  266.         /// 
  267.         /// html源代码 
  268.         /// 
  269.         public string RemoveHTML(string HtmlCode) 
  270.         { 
  271.             string MatchVale = HtmlCode; 
  272.             foreach (Match s in Regex.Matches(HtmlCode, "<.+?>")) 
  273.             { 
  274.                 MatchVale = MatchVale.Replace(s.Value, ""); 
  275.             } 
  276.             return MatchVale; 
  277.         } 
  279.         #endregion 
  281.         #region 匹配页面的链接 
  282.         /********************************** 
  283.          * 函数名称:GetHref 
  284.          * 功能说明:匹配页面的链接 
  285.          * 参    数:HtmlCode:html源代码 
  286.          * 调用示例: 
  287.          *          GetRemoteObj o = new GetRemoteObj(); 
  288.          *          string Url = @"http://www.baidu.com"; 
  289.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url); 
  290.          *          string s = o.GetHref(HtmlCode); 
  291.          *          Response.Write(s); 
  292.          *          o.Dispose(); 
  293.          * ********************************/ 
  294.         /// 
  295.         /// 获取页面的链接正则 
  296.         /// 
  297.         /// 
  298.         /// 
  299.         public string GetHref(string HtmlCode) 
  300.         { 
  301.             string MatchVale = ""; 
  302.             string Reg = @"(h|H)(r|R)(e|E)(f|F) *= *('|"")?((/w|//|//|/.|:|-|_)+)('|""| *|>)?"; 
  303.             foreach (Match m in Regex.Matches(HtmlCode, Reg)) 
  304.             { 
  305.                 MatchVale += (m.Value).ToLower().Replace("href=", "").Trim() + "||"; 
  306.             } 
  307.             return MatchVale; 
  308.         } 
  309.         #endregion 
  311.         #region 匹配页面的图片地址 
  312.         /********************************** 
  313.          * 函数名称:GetImgSrc 
  314.          * 功能说明:匹配页面的图片地址 
  315.          * 参    数:HtmlCode:html源代码;imgHttp:要补充的http.当比如:则要补充http://www.baidu.com/,当包含http信息时,则可以为空 
  316.          * 调用示例: 
  317.          *          GetRemoteObj o = new GetRemoteObj(); 
  318.          *          string Url = @"http://www.baidu.com"; 
  319.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url); 
  320.          *          string s = o.GetImgSrc(HtmlCode,"http://www.baidu.com/"); 
  321.          *          Response.Write(s); 
  322.          *          o.Dispose(); 
  323.          * ********************************/ 
  324.         /// 
  325.         /// 匹配页面的图片地址 
  326.         /// 
  327.         /// 
  328.         /// 要补充的http://路径信息 
  329.         /// 
  330.         public string GetImgSrc(string HtmlCode, string imgHttp) 
  331.         { 
  332.             string MatchVale = ""; 
  333.             string Reg = @""; 
  334.             foreach (Match m in Regex.Matches(HtmlCode, Reg)) 
  335.             { 
  336.                 MatchVale += GetImg((m.Value).ToLower().Trim(), imgHttp) + "||"; 
  337.             } 
  338.             return MatchVale; 
  339.         } 
  340.         /// 
  341.         /// 匹配中的图片路径实际链接 
  342.         /// 
  343.         /// 字符串 
  344.         /// 
  345.         public string GetImg(string ImgString, string imgHttp) 
  346.         { 
  347.             string MatchVale = ""; 
  348.             string Reg = @"src=.+/.(bmp|jpg|gif|png|)"; 
  349.             foreach (Match m in Regex.Matches(ImgString.ToLower(), Reg)) 
  350.             { 
  351.                 MatchVale += (m.Value).ToLower().Trim().Replace("src=", ""); 
  352.             } 
  353.             return (imgHttp + MatchVale); 
  354.         } 
  356.         #endregion 
  358.         #region 替换通过正则获取字符串所带的正则首尾匹配字符串 
  359.         /********************************** 
  360.          * 函数名称:GetHref 
  361.          * 功能说明:匹配页面的链接 
  362.          * 参    数:HtmlCode:html源代码 
  363.          * 调用示例: 
  364.          *          GetRemoteObj o = new GetRemoteObj(); 
  365.          *          string Url = @"http://www.baidu.com"; 
  366.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url); 
  367.          *          string s = o.RegReplace(HtmlCode,""); 
  368.          *          Response.Write(s); 
  369.          *          o.Dispose(); 
  370.          * ********************************/ 
  371.         /// 
  372.         /// 替换通过正则获取字符串所带的正则首尾匹配字符串 
  373.         /// 
  374.         /// 要替换的值 
  375.         /// 正则匹配的首字符串 
  376.         /// 正则匹配的尾字符串 
  377.         /// 
  378.         public string RegReplace(string RegValue, string regStart, string regEnd) 
  379.         { 
  380.             string s = RegValue; 
  381.             if (RegValue != "" && RegValue != null) 
  382.             { 
  383.                 if (regStart != "" && regStart != null) 
  384.                 { 
  385.                     s = s.Replace(regStart, ""); 
  386.                 } 
  387.                 if (regEnd != "" && regEnd != null) 
  388.                 { 
  389.                     s = s.Replace(regEnd, ""); 
  390.                 } 
  391.             } 
  392.             return s; 
  393.         } 
  394.         #endregion 
  397.     } 
  398. } 
  399. 记得添加引用 Interop.MSXML2.dll 否则msxml2命名空间用不了
本文转载:CSDN博客

阅读排行

分类

归档