我們經(jīng)常需要去別的網(wǎng)站采集一些信息，.NET下所有相關(guān)的技術(shù)都已經(jīng)非常成熟，用Webrequest抓取頁(yè)面，雖然支持自定義Reference頭，又支持cookie，解析頁(yè)面一般都是用正則，但是對(duì)方網(wǎng)站結(jié)構(gòu)一變，還得重新改代碼，重新編譯，發(fā)布。有了IronPython，可以把抓取和分析的邏輯做成Python腳本，如果對(duì)方頁(yè)面結(jié)構(gòu)變了，只需修改腳本就行了，不需重新編譯軟件，這樣可以用c#做交互和界面部分，用Python封裝預(yù)期經(jīng)常變化的部分。

如何利用IronPython把抓取和分析的邏輯做成Python腳本
　　安裝好IronPython和vs.net 2010后，還需要下載一個(gè)SGMLReader（見(jiàn)參考鏈接），這個(gè)組件可以把格式不是很嚴(yán)格的HTML轉(zhuǎn)換成格式良好的XML文件，甚至還能增加DTD的驗(yàn)證　　
　　我們以抓取百度貼吧頁(yè)面為例，新建一個(gè)Console項(xiàng)目，引用IronPython,Microsoft.Dynamic,Microsoft.Scripting,SgmlReaderDll這些組件，把SGMLReader里的Html.dtd復(fù)制到項(xiàng)目目錄下，如果沒(méi)有這個(gè)，它會(huì)根據(jù)doctype去網(wǎng)絡(luò)上找dtd，然后新建baidu.py的文件，最后在項(xiàng)目屬性的生成事件里寫上如下代碼，把這兩個(gè)文件拷貝到目標(biāo)目錄里。

copy $(ProjectDir)\*.py $(TargetDir)  
copy $(ProjectDir)\*.dtd $(TargetDir) 

import clr, sys  
clr.AddReference("SgmlReaderDll")  
clr.AddReference("System.Xml")  

from Sgml import *  
from System.Net import *  
from System.IO import TextReader,StreamReader  
from System.Xml import *  
from System.Text.UnicodeEncoding import UTF8  

def fromHtml(textReader):      
sgmlReader = SgmlReader()      
sgmlReader.SystemLiteral = "html.dtd"    sgmlReader.WhitespaceHandling =WhitespaceHandling.All      
sgmlReader.CaseFolding = CaseFolding.ToLower    sgmlReader.InputStream = textReader          
 
 
doc = XmlDocument()      
doc.PreserveWhitespace = True      
doc.XmlResolver = None      
doc.Load(sgmlReader)      
eturn doc  

def getWebData(url, method, data = None, cookie = None, encoding = "UTF-8"):      
   req = WebRequest.Create(url)      
   req.Method = method          
   if cookie != None:          
      req.CookieContainer = cookie          
   if data != None:          
      stream = req.GetRequestStream()          
      stream.Write(data, 0, data.Length)              
   rsp = req.GetResponse()      
   reader = StreamReader(rsp.GetResponseStre(),            
   UTF8.GetEncoding(encoding))            
   return reader  

class Post:  
    def __init__(self, hit, comments, title, link, author):  
        self.hit = hit  
        self.comments = comments   
        self.title = title  
        self.link = link  
        self.author = author  

class BaiDu:  
    def __init__(self,encoding):  
        self.cc = self.cc = CookieContainer()  
             self.encoding = encoding 
             self.posts = []     

def getPosts(self, url):  
        reader = getWebData(url, "GET", None, self.cc, self.encoding)  
        doc = fromHtml(reader)  
        trs = doc.SelectNodes("html//table[@id='thread_list_table']/tbody/tr")       
        self.parsePosts(trs)  
 
def parsePosts(self, trs):  
        for tr in trs:  
            tds = tr.SelectNodes("td")  
            hit = tds[0].InnerText  
            comments = tds[1].InnerText  
            title = tds[2].ChildNodes[1].InnerText  
            link = tds[2].ChildNodes[1].Attributes["href"]   
            author = tds[3].InnerText  
 
            post = Post(hit, comments, title, link, author)  
            self.posts.append(post)  

Dictionary<string, object> options = new Dictionary<string, object>();      
  options["Debug"] = true;            
  ScriptEngine engine = Python.CreateEngine(options);            
  ScriptScope scope = engine.ExecuteFile("baidu.py");            
  dynamic baidu = engine.Operations.Invoke(scope.GetVariable("BaiDu"), "GBK");  

baidu.getPosts("http://tieba.baidu.com/f?kw=seo");             
   dynamic posts = baidu.posts;          
   foreach (dynamic post in posts)            
   {                   
     Console.WriteLine("{0} (回復(fù)數(shù):{1})(點(diǎn)擊數(shù)：{2})[作者:{3}]",                      
     post.title,                      
     post.comments,                     
     post.hit,                   
     post.author);             
   }  

 【編輯推薦】

1. 高性能ASP.NET站點(diǎn)構(gòu)建之細(xì)節(jié)決定成敗
2. Mono 2010 跨平臺(tái)的.NET運(yùn)行環(huán)境發(fā)布了
3. ASP.NET MVC 3 新特性全解析
4. 手把手教你實(shí)現(xiàn).NET程序打包