当前位置:问答库>论文摘要

题目:面向企业的互联网信息提取系统的设计与实现

关键词:信息采集,分布式系统,自然语言处理

  摘要



在市场经济和互联网高速发展的今天,企业如何及时有效的获得消费者的反馈信息,已经成为企业市场营销部门解决产品市场导向问题、提高市场决策效率、降低产品设计风险过程中的重要问题。传统的用户信息反馈渠道由于其时效性差、用户样本空间小、成本高昂已经日益不能适应现代的社会现状;而新兴的利用网民信息反馈提供企业相关情报的被动信息收集系统,虽然解决了信息的时效性问题,但由于缺乏市场营销行业经验且过于技术化,对采集数据的分离不充分、提取维度不专业的问题十分突出,导致数据应用于后处理和分析评估方面出现了种种问题和限制,其数据结论在可信度方面还难以与传统方式相媲美。

本文所述系统以业内典型的舆情信息处理方式为基础,实现了一套服务于企业营销领域的互联网信息分离和提取系统。系统提取的信息以网民(消费者)为中心,Web2.0媒体内容为主体,通过对企业相关的媒体或网民言论进行分离、提取、标记和统计分析的方式,为企业提供有效的互联网信息情报服务。

系统以分布式计算为架构基础,由采集分离、任务调度存储、分拣标记三个子系统构成,在信息处理的数据量、时效性、精准度和成本之间实现了一套有效的平衡方案。为解决系统的数据分离建模问题、采集调度的性能压力问题、海量信息的高效分拣问题,论文重点论述解决此问题的三项关键技术:一种基于CSS和正则表达式语法的互联网富文本信息内容提取技术;使用双重反馈机制对互联网内容更新特性而优化的采集调度算法;针对互联网和企业信息分析优化的复合VSM模型分类快速标记方法。

最后,系统按设计方案进行了部署,经过严格的功能测试、压力测试和可靠性验证,系统各项指标均到达设计水平。并在后续商业化运营中,其应用价值和市场前景得到了充分的体现。