专注于互联网--专注于架构

网络爬虫:使用C# 实现简单的爬虫

　　本文举例源代码或素材下载 　　花了 3个小时,实现了个简单爬虫,现在实现功能是设置抓取深度,设置入口　　出现问题是:目前是单线程 在url抓取过程中会出现重复url 尽管我努力去避免此类问题发生,但是在我本地调试过程中还是出现了类似问题　　我避免url重复方式 是 根据父页面 来判断　具体看代码 整个代码相对比较简单,希望对刚刚开始研究爬虫新手有所帮助,也希望对我这个代码目前存在问题 给予纠正　　以下内容为转载　　Spider技术:设计Spider时要解决几个问题　　spider是整个搜索引擎系统中很重要个组成部分可以说是搜索引擎基础它 [阅读全文] [PDF]

爬虫程序:如何构造一个C#语言的爬虫程序

　　特别适合于构造蜘蛛程序，这是因为它已经内置了HTTP访问和多线程的能力，而这两种能力对于蜘蛛程序来说都是非常关键的。下面是构造一个蜘蛛程序要解决的关键问题： 　　（1）HTML分析：需要某种HTML解析器来分析蜘蛛程序遇到的每一个页面。 　　（2）页面处理：需要处理每一个得到的页面。得到的内容可能要保存到磁盘或者进一步分析处理。 　　（3）多线程：只有拥有多线程能力，蜘蛛程序才能真正做到高效。 　　（4）确定何时完成：不要小看这个问题，确定任务是否已经完成并不简单，尤其是在多线程环境下。 　　一、HTML解析 　　本文提供的HTML解析器由Parse [阅读全文] [PDF]