毕业设计(论文)基于Web的行业新闻采集系统.doc
《毕业设计(论文)基于Web的行业新闻采集系统.doc》由会员分享,可在线阅读,更多相关《毕业设计(论文)基于Web的行业新闻采集系统.doc(74页珍藏版)》请在三一办公上搜索。
1、景德镇陶瓷学院工学学士学位论文(设计)题目:基于Web的行业新闻采集系统学 号: 姓 名: xxxx 院 (系): 信息工程学院 专 业: 信息管理与系统 完成日期: 指导老师: 分类号 学校代码 UDC 密级 学 号 景德镇陶瓷学院信息工程学院毕业论文基于web的行业新闻采集系统指导老师:xxxx 副教授 景德镇陶瓷学院 信息工程学院申请学位级别 学士 专业名称 xx信息管理与系统论文提交日期 2011年12月28日论文答辩日期 2011年1月5日学位授予单位和日期 景德镇陶瓷学院 答辩委员会主席: xxxxxx 论文评阅人: 2011年1月5日摘 要随着互联网的飞速发展,信息时代的到来,面
2、对网络上泛滥的新闻信息,而采集和过滤一些有用的信息对于我们来说是十分重要的。行业新闻采集系统是将非结构化的新闻文章从多个新闻来源网页中抽取出来保存到结构化的数据库中的过程。尤其是对于大型门户网站,比如新浪,腾讯他们每天的网站信息都更新,而且范围很广,全国各地,甚至全球发生的信息都能每天看到更新,而他们正是利用采集系统从各大媒体网站,外国网站采集过来的。因此,信息的采集至关重要。一般的网站新闻发布平台都是采用人工输入信息,对于中小型网站这样的工作量很算可以,但是网站大了,信息就很庞大了,像那种分类信息网,更新的工作就变得很复杂,如果有专门的类似搜索引擎能检索采集到最新的行业信息然后发布在自己的网
3、站上,因此建立专门的行业新闻采集系统,从相关行业网站采集有效的新闻信息,比如采集陶瓷行业新闻,从各大陶瓷网站采集有关陶瓷关键字的新闻列表,然后帅选入库,可以减少很多工作量,而且可以有效的进行修改和过滤工作。目前比较有名的采集系统有火车头,视采新闻采集器2、万能新闻采集器、新浪新闻采集器。关键字:行业新闻采集;.net;SQL server AbstractWith the rapid development of the Internet, the advent of the information age, face the flood of news information network
4、, and the collection and filter some useful information for us, it is very important. News gathering system is will unstructured news articles from multiple sources of news page extracted saved to the structural database in process.Especially for large web portal, such as sina, tencent every day the
5、y website information updates, and the range is very wide, all over the country, and even the global happened to see update information every day, and they are the use of acquisition system from the major media web site, foreign web site collected.Therefore, the collection of the information is very
6、 important. The general web news release platform are using artificial input information, for small and medium website such workload is calculate can, but the site is big, the information is very big, like the classification and information network, update the work is very complex, if have special s
7、imilar search engine can retrieve collection to the latest information and then released on his website, thus establishing special collection system, from related website collection effective news information can reduce a lot work load, and can effectively modified and filter work. At present more f
8、amous collection system has a locomotive, depending on the mining news terminal 2; Universal news collector; Sina news collector.Keywords: news collection;.net;SQL server目录摘 要IAbstractII目录III第一章 引 言11.1 课题背景11.2 开发系统的意义11.3 课题名称21.4 问题描述2第二章 可行性研究32.1 经济可行性32.2 技术可行性32.3 开发工具简介42.3.1关于Visual Studio
9、201042.3.2关于ASP.NET52.3.3关于SQL Server 200552.4 工厂模式三层架构介绍6第三章 系统分析93.1 功能需求93.2 性能需求93.3 运行需求93.4 数据流图103.5 用例图113.5.1类别管理用例113.5.2用户管理用例113.5.3入库管理用例113.5.4采集管理用例123.5.5权限管理用例123.5.6新闻管理用例123.6 数据字典133.7 概念结构设计143.7.1实体图143.7.1总体数据实体关系图153.8 逻辑结构设计163.9 数据库主要表结构说明183.10 物理结构设计18第四章 总体设计214.1 总体功能模块
10、设计214.2 模块功能细化214.2.1 新闻类别管理214.2.2新闻管理224.2.3 用户管理224.2.4 权限管理224.2.5入库新闻管理224.2.6采集管理22第五章 详细设计235.1 系统行为视图模型设计235.1.1 新闻管理活动图235.1.2 新闻类别管理活动图235.1.3 入库管理活动图245.1.4 用户管理活动图245.1.5权限管理活动图245.2 系统交互视图模型设计255.2.1用户管理255.2.2 新闻类别管理255.2.3新闻管理255.2.4采集管理265.2.5采集入库管理265.2.6 权限管理265.3 类图275.3.1接口层类图275
11、.3.2工厂类图285.3.3数据库访问层285.3.4业务逻辑层类图295.3.5数据库通用辅助层305.3.6实体层类图305.3.7页面辅助层类图315.3.8系统总体架构图31第六章 系统实现336.1 ADO.NET的使用336.2前台技术376.3系统运行界面426.4 采集管理功能实现436.5 入库管理功能实现476.6 新闻管理实现496.7 新闻类别管理506.8 用户管理实现526.9 权限管理53第七章 系统测试567.1 测试目的567.2 测试方案56总 结58参考文献59致 谢60附 录61附录一 系统使用说明书61附录二:信息采集63第一章 引 言1.1 课题背
12、景信息自古就有无限的价值,随着时代的不断发展,人类不知不觉已经来到了信息时代,各行各业都充斥了无数的信息,而信息的价值就在于信息的流通,如果信息能够及时的流通和传递起来,才能发挥信息真正的不可比拟的价值。在市场经济条件下,信息已经成为一种极其重要的商品。信息社会通常被定义为信息生产和消费的集中。信息集中度取决于对信息的需求以及此需求被满足的程度。因此,一种看待信息社会是否形成的方法是评价信息的交换强度及信息内部流动的持久性。那么,什么是信息价值?它的价值如何确定?这些问题已成为当今信息社会所面临的最基本问题之一。近年来,行为经济学把经济学理论和心理学理论结合起来研究信息的主观价值,取得了一定的
13、成果。这些研究成果对于我们认识了解信息价值的确定和市场经济条件下人们对信息的需求特性,具有重要的启示作用。 如何从海量信息中收集有价值的信息资料,并进行分析研究,形成企业各种决策的依据,是信息人员及市场研究人员所面临的一个问题。信息必须经过汇总、整合、分析才能产生价值,零散的信息只能是新闻性的,无法体现真正的商业价值。 对于企业以及信息分析人员来说,一方面要在大量的信息中过滤出有效的价值点,同时又要降低获取相应信息的成本,使信息的实际使用价值大于收集、分析信息等过程所产生的成本,使信息为企业的决策带来增值价值。21世纪是信息时代,掌握了迅速便捷的信息就能在激烈的竞争中占取主动,而正是信息的这种
14、金子般的价值也注定了信息本身就是一个行业一个产业。而这种行业将为社会做出巨大的贡献,所以我这个课题就是关于收集共享信息的。1.2 开发系统的意义我要完成的设计能够通过各种手段来收集各行业的一些杂乱庞大的信息,并总结分析出许多有用的有价值的信息。例如我们对一个行业的众多企业收集他们的企业的各种信息,小到工人日常支出,大到企业年产值及企业竞争力。少数的信息看起来并没有什么价值,但是一旦我们能够获取到整个行业大部分重要企业的大量信息,并且这种信息是可以实时更新的,我们就会发现,通过各种数据的分析排名,我们可以了解到数据背后的东西,例如可以根据工人的平均工资来了解到某个行业中工人待遇的企业排名。可以根
15、据企业的总产值的排名来大概了解在这个行业中企业的竞争力的排名。像这些经过分析处理过的信息才是真正有价值的信息,当然信息的处理可以根据使用者自身的需求来选择处理信息的方式,例如一些函数的组合或者是统计学方法。总之,通过这个网站,对于行业的数据采集分析并形成有巨大的价值的过程有着很大的推进的意义。这个课题,其实原理和方法都是简单通俗易懂的,但是改变人们生活方式,推动社会进步的恰恰是那些简单的发明创造,当然这个课题可能达不到这样的高度,但这样的尝试是非常有价值的。因为它架设起来容易,复杂的使我们具体去操作,例如收集企业信息,我们可以通过与政府的合作来收集,也可以通过问卷调查来收集,还可以让企业自己登
16、陆我们的网站来添加信息。在日新月异的信息时代,掌握信息的快速流通手段,在某种程度上我们就走在了时代行业的前列,所以我想这个课题在某种程度上有着划时代的意义。像这种课题,在国外发展已经非常成熟,在国内则刚刚起步,例如国外的福布斯排名,国内的胡润排名,所以,从商业上看,这个行业还是非常有前途的。1.3 课题名称课题名称:基于Web的行业新闻采集系统。1.4 问题描述本课题所设计的目标是行业新闻采集系统(Web News collection System),采用Internet/Intranet方式,是基于浏览器/服务器的管理系统,它由客户在客户端通过浏览器访问服务器上的系统的应用程序,进行网页信
17、息采集,帅选,审核,入库等一系列操作。第二章 可行性研究基于web的行业新闻采集系统是基于B/S模型的设计理念的系统,它能提供批量采集指定站点,编辑采集项目,帅选和审核入库功能,现就其可行性如下:2.1 经济可行性首先,由于现在的企业的迅速发展使得企业每天的业务量、工作量是越来越大。而且应对企业宣传、人员招聘、产品宣传等工作,处理和传递信息,企业往往需要增加宣传、招聘服务人员,以提高工作效率,这无疑会大大增加企业的成本,而且这个费用开支是持续、递增的。而开发一个简单的通用的采集系统能够整合到一般的网站项目中,代替人工输入,大大减少劳动力和成本。其次,如果说建设大型的专业性的网站平台,需要企业斥
18、资聘请专业的团队定制和管理,那么对于功能需求相对普及化的中小型站点,就没有能力也没有必要付出这么昂贵的代价。对于一般性的中小型网站建设,完全可以花费很少的资本,选择合适的采集系统进行搭建,从而以较少的投入获得较高的效益。总的来说,开发一个这样的系统费用不是很高,而系统带来的方便和效益是原始操作方式所无法比拟。而且是一劳永逸的事情。从经济上考虑,本采集系统是可行的。2.2 技术可行性 本系统采用微软的面向对象语言C#,加上B/S架构语言ASP.NET 。 本系统将很好地和各种类型的信息网站整合,并且可以二次开发,自定义功能配置 。 采用本系统只需添置低档计算机,如果条件允许,可以使用P4以上配置
19、。 采用本系统不会对现有软件会产生冲突。 用户只需要短时间来熟悉本系统。 利用好现有技术和人员,完全可以实现预期目标。2.3 开发工具简介2.3.1关于Visual Studio 2010图2-1 vs 架构图Chart2-1 vs framwork architectureVisual Studio 2010 提供了高级开发工具、调试功能、数据库功能和创新功能,帮助在各种平台上快速创建当前最先进的应用程序。 Visual Studio 2010 包括各种增强功能,例如可视化设计器(使用 .NET Framework 4.0加速开发)、对 Web 开发工具的大量改进,以及能够加速开发和处理所有
20、类型数据的语言增强功能。Visual Studio 2010 为开发人员提供了所有相关的工具和框架支持,帮助创建引人注目的、令人印象深刻并支持 AJAX 的 Web 应用程序。 开发人员能够利用这些丰富的客户端和服务器端框架轻松构建以客户为中心的 Web 应用程序,这些应用程序可以集成任何后端数据提供程序、在任何当前浏览器内运行并完全访问 ASP.NET 应用程序服务和 Microsoft 平台。 快速的应用程序开发为了帮助开发人员迅速创建先进的软件,Visual Studio 2010 提供了改进的语言和数据功能,例如语言集成的查询 (LINQ),各个编程人员可以利用这些功能更轻松地构建解决
21、方案以分析和处理信息。 Visual Studio 2010 还使开发人员能够从同一开发环境内创建面向多个 .NET Framework 版本的应用程序。开发人员能够构建面向 .NET Framework 2.0、3.0 或 3.5及4.0 的应用程序,意味他们可以在同一环境中支持各种各样的项目。 突破性的用户体验Visual Studio 2010 为开发人员提供了在最新平台上加速创建紧密联系的应用程序的新工具,这些平台包括 Web、Windows Vista、Office 2007、SQL Server 2008 和 Windows Server 2008。对于 Web,ASP.NET A
22、JAX 及其他新技术使开发人员能够迅速创建更高效、交互式更强和更个性化的新一代 Web 体验。 高效的团队协作Visual Studio 2010提供了帮助开发团队改进协作的扩展的和改进的服务项目,包括帮助将数据库专业人员和图形设计人员加入到开发流程的工具。2.3.2关于ASP.NET2001年,微软在前面三个版本的ASP基础上,推出了全新的ASP.NET,它开始抛弃前面三个版本都在使用的脚本语言,而是使用Visual Basic.NET作为它的默认语言。与ASP程序是解释执行的不同,在ASP.NET中,所有的程序执行都是经过服务器编译的,在执行效率上有很大的提高,也更稳定。其结构也与前面的版
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 毕业设计 论文 基于 Web 行业新闻 采集 系统

链接地址:https://www.31ppt.com/p-3980041.html