- 软件介绍
- 软件截图
LoalaSam是一款网络爬虫程序,可以高效地从互联网上获取海量资源,包含网页文本信息、图片、音频、视频等内容,从而对个人网站的信息进行分析。
基本简介
运行在Windows平台上的网络爬虫(蜘蛛)程序,它可以高效地从互联网上获取海量资源,这些资源包括网页文本信息,图片,音频,视频以及其他类型的二进制文件资源。
LoalaSam采用了较为先进的技术来提高下载速度,它采用了异步DNS解析,异步TCP/IP通信传输和多线程并发下载机制。这样使LoalaSam达到了很高的下载速度,它通常接近您的网络环境提供的极限速度。
作者希望今后LoalaSam能够作为一个完整的搜索引擎系统的一个功能模块。目前LoalaSam的兄弟程序MarioSam正在开发的过程中并且接近完成。MarioSam将包含一个高效的索引建立引擎,和一个检索服务器,并且保存可扩展的接口。这样,通过LoalaSam和MarioSam, 用户可以找到一种搭建属于自己的搜索引擎的最简单方式,非常适合初学者使用。
软件特色
高效的互联网爬行及资源下载;
广泛的目标资源及可配置性;
多线程下载及异步DNS请求机制;
深度优先爬行算法;
可选择性的遍历单个域名、多个域名、公司网站或者整个互联网。
LoalaSam能够达到您的网络环境支持的最大下载速度,比如,您的网络限速为8兆比特每秒,那么LoalaSam能达到的最大下载速度就是1兆字节每秒。
更新日志
LoalaSam Beta V0。3.0 (2010-12-12)
-修复了url扩展问题。
-将配置面板更改为使用选项卡。
-使用代理功能实现。
-实现了自动配置功能。
-实施了扩展到互联网的规则。
-修复了退出时自动保存的问题。
LoalaSam基本简介
运行在Windows平台上的网络爬虫(蜘蛛)程序,它可以高效地从互联网上获取海量资源,这些资源包括网页文本信息,图片,音频,视频以及其他类型的二进制文件资源。
LoalaSam采用了较为先进的技术来提高下载速度,它采用了异步DNS解析,异步TCP/IP通信传输和多线程并发下载机制。这样使LoalaSam达到了很高的下载速度,它通常接近您的网络环境提供的极限速度。
作者希望今后LoalaSam能够作为一个完整的搜索引擎系统的一个功能模块。目前LoalaSam的兄弟程序MarioSam正在开发的过程中并且接近完成。MarioSam将包含一个高效的索引建立引擎,和一个检索服务器,并且保存可扩展的接口。这样,通过LoalaSam和MarioSam, 用户可以找到一种搭建属于自己的搜索引擎的最简单方式,非常适合初学者使用。
LoalaSam软件特色
高效的互联网爬行及资源下载;
广泛的目标资源及可配置性;
多线程下载及异步DNS请求机制;
深度优先爬行算法;
可选择性的遍历单个域名、多个域名、公司网站或者整个互联网。
LoalaSam能够达到您的网络环境支持的最大下载速度,比如,您的网络限速为8兆比特每秒,那么LoalaSam能达到的最大下载速度就是1兆字节每秒。
LoalaSam更新日志
LoalaSam Beta V0。3.0 (2010-12-12)
-修复了url扩展问题。
-将配置面板更改为使用选项卡。
-使用代理功能实现。
-实现了自动配置功能。
-实施了扩展到互联网的规则。
-修复了退出时自动保存的问题。