分布式搜索引擎中缓存系统的研究与实现
专业名称: 计算机软件与理论

论文级别: 硕士

学位年度: 2009

中文摘要: 分布式缓存技术是在不增加成本的前提下提高WWW系统响应速度的一种有效解决方案。本文依托国家科技支撑计划项目“综合风险防范关键技术研究与示范”,针对项目中综合风险搜索引擎面临的响应速度和搜索效率等问题,开展了分布式缓存系统的研究。重点解决了分布式缓存系统中缓存协作、缓存替换算法等关键问题,并实现了一个分布式缓存系统,该系统已经应用在综合风险搜索引擎中,取得了良好的应用效果。 本文主要研究成果有: 1)根据综合风险搜索引擎需求以及分布式缓存系统的特点,完成了分布式缓存系统的设计与实现。 2)在分析传统缓存协议和搜索引擎特点的基础上,设计了HCC(hotspotscooperative caching)缓存协作机制,HCC采用控制节点和缓存节点分离的体系结构,降低了分布式管理的复杂性,通过将“热点”文档复制到低负载节点,将负载较为合理地分散到多个节点,最终消除“热点”节点。与其它缓存协议在理论上和实验数