http://my.donews.com/18ie 桌面搜索引擎的技术资料，文档，中文分词，查询算法，倒排索引，源代码 Tue, 02 Jan 2007 10:49:58 +0000 http://backend.userland.com/rss092 en 好消息，　飞涛软件工作室，开始出售 ftfind 桌面搜索引擎的源代码， 超低震撼价格：2,9998元。 整体功能可与google desktop search媲美,内存占用不到其1/10。 欢迎有诚意的买家与我联系。 下载地址 http://www.18ie.com/find/download.php 该价格包含所有源代码，技术文档和相关资料。内含微型化的http 服务器，hash型文件数据库，倒排索引模块，中文分词模块，中文词汇表，doc文件解析模块，html文件解析模块，硬盘遍历模块，模版化界面。 是唯一带有中文分词的桌面搜索引擎！ 中文分词模块采用了极为精巧的高效压缩和查询算法，4万余中文词汇库，只占用区区１００多k的空间。 在做技术积累的时候，我查询此算法的某个特别稀有的关键词时，google甚至在右边的广告位向我发出了招聘邀请。 源代码出售中.......杨志卖刀，我卖源码,开始了！ 联系人： 马飞涛 Email: mafeitao (at) gmail.com (at) hotmail.com (at) 18ie.com Msn: mafeitao [at] hotmail.com 官方网站地址： www.18ie.com   http://my.donews.com/18ie/2007/01/01/mygotanxhdrxhjwncrmeevzpruaytfdgdjux/ 好消息，　飞涛软件工作室，开始出售 ftfind 桌面搜索引擎的源代码， 超低震撼价格。 整体功能可与google desktop search媲美,内存占用不到其1/10。 欢迎有诚意的买家与我联系。 下载地址 http://www.18ie.com/find/download.php 该价格包含所有源代码，技术文档和相关资料。内含微型化的http 服务器，hash型文件数据库，中文分词模块，中文词汇表，doc文件解析模块，html文件解析模块，硬盘遍历模块，模版化界面。 是唯一带有中文分词的桌面搜索引擎！ 中文分词模块采用了极为精巧的高效压缩和查询算法，4万余中文词汇库，只占用区区１００多k的空间，在做技术积累的时候，我查询此算法的某个特别稀有的关键词时，google甚至在右边的广告位向我发出了招聘邀请。 源代码出售中....... 官方网站地址： http://www.18ie.com http://my.donews.com/18ie/2006/12/21/dcxdqcthxdlkeynpsorlgouikyjwhwklzhoq/ 飞涛桌面搜索引擎 1．创意说明 背景介绍 尽管从互联网上数以十亿计的文档中搜索信息已经变得相对简单，但在计算机的硬盘上查找一个Word文件仍然不是一件容易的事。 为了方便用户在越来越大硬盘里，从海量的资料中查找自己感兴趣的文档，我开发了本机搜索引擎，该软件能够以全文检索的方式，通过浏览器，让用户在自己的计算机的本地硬盘中，迅速找到Html网页、Word文档 、txt纯文本、或者c,cpp,pas,java,asp,php等程序的源代码文件。 撰写说明书的参考文献： 1）《软件工程》叶俊民 清华大学出版社 2006年 2) 《UML基础及Visio 建模》刘晓华　电子工业出版社　2004年 1．2 市场定位 相对网络搜索，桌面搜索的威力更大，市场更好。从技术来看，只有桌面搜索才算是全方位的搜索工具。它无所不能且方便快捷，从电脑到网络的每个角落都能找到你要找的东西。 日前，google, 微软,雅虎，百度等国际化大公司纷纷全力打造并推出了自己的桌面搜索软件，宣布进入桌面搜索市场。决心为之搏斗一番。 从市场发展来看，桌面搜索市场的发展潜力最大。尽管搜索市场竞争非常激烈，但这一市场的增长潜力被普遍看好。有关市场研究数据显示：中国的搜索引擎市场2003年达到了5.2亿元人民币，比2002年的2.3亿一年增长了127%，今后3年内还将每年增长60%至70%之间，而全球搜索引擎产业，3至5年后将有望达到70亿美元。事实上，各大搜索公司近来的业绩都在高速发展，百度最近的财报显示，其业绩已经上涨了两倍，雅虎的财报也在一路攀升，Google的业绩就更不用说了。 虽然桌面搜索市场，暂时还没有明显的赢利模式，但我们看到各大公司纷纷在桌面搜索市场，积极地进行战略布局。 在这大家都还没有赢利的看不见硝烟的战场上，对后来者而言，正是一个起步的绝好机会：能和巨人们站在同一起跑线上，进行同台竞技。 1.3 需求规格 1.3.1 一般性描述 本软件要提供的主要功能是：帮助用户在自己的计算机的本地硬盘中，迅速进行全文检索。 用户特征： 预期软件的主要用户为一般职员(主任/一般文职/业务/办事人员)、学生和专业人士。用户受到的教育水平较高，对计算机操作较为熟练。 限制与约束： 为了方便软件在网络上的传播，在设计时，需要尽量精减软件的尺寸：整个软件的安装包限制在１Ｍ字节之内。在一个安装包内，提供全文检索的完整功能，内含微型化的http 服务器，hash型文件数据库，中文分词模块，中文词汇表，doc解析模块，html解析模块，文件遍历模块，模版化人机界面等。 1.3.2 特殊需求 作品功能： 能够以全文检索的方式，通过浏览器，让用户在自己的计算机的本地硬盘中，迅速找到Html网页、Word文档 、txt纯文本、或者c,cpp,pas,java,asp,php等程序的源代码文件。 行为需求： 1)用户可以在自己的计算机中，进行全文检索。用户通过浏览器输入欲查询的关键词，软件进行中文分词和检索，以页面形式返回包含关键词的文件集合。 2)用户可以指定和添加要索引的范围，比如可以一次添加多个文件进行索引，可以添加某个目录，某个硬盘进行索引。软件可以按照用户的指定范围，自动遍历并索引该目录或该硬盘下所有的文件，及其子目录下的所有文件。 3)索引时，采用多线程技术，尽量降低对CPU和内存资源的消耗。当用户空闲时，（鼠标停止移动１０秒后），软件才能进入索引状态。一旦用户移动鼠标，索引线程立即进入休眠状态。 性能需求： 1） 查询时，最长的响应时间：控制在800毫秒和１秒左右；平均响应时间：控制在200毫秒之内。 2）内存平均占用控制在４M-10M之间。 3）软件安装包的大小控制在１M之内，以方便下载。 4）倒排索引文件的占用随索引范围而变动，采用中文分词技术，以词汇为单位进行存储，以期减少对硬盘空间的消耗。 ５）如果计算机死机或者突然断电后，软件重新启动时，应该具备自我修复功能，避免从头再次建立索引。 6）提供模版化人机界面，如果用户具备编写html的能力，可以灵活地自行修改查询结果的显示页面。 安全性需求： 只允许来自本地IP地址(127.0.0.1)的查询，拒绝来自局域网和互联网的其他IP地址的查询。 2．设计规格说明 2.1 背景介绍 2.1.1 作用范围 系统目标：设计一个轻量级的全文检索软件，可以让用户通过浏览器输入欲查询的关键词， 在用户自己的本地硬盘中，迅速查询并以页面形式返回：包含关键词的Html网页、Word文档 、txt纯文本、或者c,cpp,pas,java,asp,php等程序的源代码文件。 系统的运行环境 硬件环境：公知计算机。 软件环境：WINDONS 98/2000/XP操作系统。 人机界面：浏览器（比如ie, netscape,firefox等） 设计约束： 软件语言采用ＤELPHI和Vc 混合编程。使用Delphi 编写主程序ftfind.exe，包括http server、遍历模块和软件界面等模块。使用Vc编写动态连接库fullindex.dll， 包括全文检索和中文分词等模块，供主程序ftfind.exe调用。 2.1.2 文档 技术参考书： 《C++ 标准程序库》 侯捷/孟岩 华中科技大学出版社 2002年 《Delphi 4编程技术内幕》 Charlie Calvert 机械工业出版社 1999年 《Delphi 算法与数据结构》Julian Bucknall 中国电力出版社 2003年 《C++ 编程思想》Bruce Eckel 机械工业出版社 2003年 《编程珠玑》Jon Bentley 中国电力出版社 2004年 参考标准 Hypertext Transfer Protocol -- HTTP/1.1 (RFC ... http://my.donews.com/18ie/2006/12/21/jptpamckapgryjkumhvfesimtfkynmwwbplb/ ftfind 桌面搜索引擎的设计文档 (1) 马飞涛  坦白地说，我设计软件时，和很多程序员一样，也不爱写文档。 后来，发觉如果按软件工程要求，不爱写文档的程序员，就是不成熟的程序员，就是游击队，即使你编程技艺高超，也是山顶洞的史前野人。 看看按软件工程的要求，都需要写些什么呢？ 一、可行性研究报告.dot 二、项目开发计划.dot 三、需求规格说明书.dot 四、概要设计说明书.dot 五、详细设计说明书.dot 六、用户操作手册.dot 七、测试计划.dot 八、测试分析报告.dot 九、开发进度月报.dot 十、项目开发总结报告.dot 十一、程序维护手册.dot 十二、软件问题报告.dot 十三、软件修改报告.dot   和做智能狂拼的刘定西聊过天，他观察到：程序员的输入法一般都不太好。比如我就是这样，英文打得飞快，中文输入时，得选来选去，速度就慢多了。 我觉得：如果按这些列表把文档都写下来，手还不写软？哪里还有时间和心情写程序？ 所以不写也罢，我就心甘情愿地做了十多年的山顶洞的史前野人。 后来，在一个互联网业界的牛烘烘的公司里面作驱动程序的开发，发现新来一个大牛级的人物，也做开发，第1件事情，就是埋头写文档。惹得二牛们满脸羡慕之情，看：别人一来就写文档，真专业。 这才发现，写文档还有这种好处。 那个时候，正兴起敏捷开发，就特意号称不写文档。 真让我思想解放！！！ 原来，不写文档的程序员也大有人在，不光是我呀，还有好多人都不爱写呀。 怪不得有 SourceForge.net: Doxygen 这种能够自动把注释抽取成文挡的软件。 上半年，我写了一个桌面搜索引擎，类似于google desktop search 。 下载地址：http://www.18ie.com/find/download.php 9月18号那天，把它递交到河南省青年软件大赛，看看能得第几名。 这种青年软件大赛，特别麻烦。说明文挡里需要一大堆软件的设计说明。我也想偷懒，在网络找一个现成的例子，可是没有发现。 却通过网络搜索发现一个小秘密，原来全国各省的这种大赛的要求是一样的，用了一个模子刻出来的说明书。可叹，中国无人呀。不知道是请那个老教授写的，然后就全国通用了。那个老教授是参考哪本书写的呢？我很想知道，但不得而知了。知道这本书的名称，对理解他所说的技术术语很重要，如果谁知道是哪本书，请告诉我呀。 河南省青年创新软件设计大赛参赛作品说明书 （参考目录） 1．创意说明 1．1 背景介绍 介绍作者设计软件的创意背景、定义、名词解释、参考文献。 1．2 市场定位 主要介绍作者参赛作品的适用对象、应用前景和市场展望，可以从技术发展、行业应用、个人经历的方面来阐述。 1.3 需求规格 1.3.1 一般性描述 作品与环境之间的关系、作品要提供的功能、用户特征、限制与约束等。 1.3.2 特殊需求 包括参赛作品功能、行为需求、性能需求、安全性需求、设计约束和其他。 1.4 总结 2．设计规格说明 2.1 背景介绍 2.1.1 作用范围 包括系统目标、系统环境定义（硬件、软件和人机界面等）、主要设计约束和限制等。 2.1.2 文档 包括应用的技术参考书、参考标准、采用的技术或技术路线说明，以及在本软件设计工程中采用的项目管理方法、措施和规范制定。 2.2 软件功能设计 包括软件结构的功能、系统子系统划分以及公共构件的设计。 2.3 软件逻辑设计 可采用面向对象或面向过程的设计法中，设计软件数据流和控制流的任何方法或工具完成（如Rational Rose中的状态图、活动图、User case等），要求包括如下内容： 数据流设计 数据库设计（如软件中不涉及数据库管理，可省略） 控制流设计 用户界面设计 2.4 软件运行平台设计 对软件的开发平台、运行平台和使用场景进行设计，包括系统运行的操作系统、数据库系统及其他支撑环境等。 ... http://my.donews.com/18ie/2006/12/21/lezjamqotnlspbmmsztctrapnzzxwqqivqsw/ ftfind 对比 google 桌面搜索 我写完本机搜索引擎 ftfind 之后，下载了一个最新版的google desktop search。 做一个对比，立即找到了信心，可以欣喜地看到,在有些方面,ftfind已经暂时胜出。 虽然有些细节没有google考虑周全，但是整体水平已经很接近，处在同一个重量级。 测试平台：一台 奔三 750台式机，win xp操作系统。  Google desktop search 的最新版本：4.2006.0814.1947-zh-CN-pb, 安装文件：GoogleDesktopSetup.exe , 大小:2311KB。 ftfind的最新版本：V1.1， 安装文件：find.exe, 大小:755KB。 结论：ftfind 比goolge的安装文件小，ftfind 暂时胜出(755k vs 2311k)（估计随着日后功能的增多，也许安装包会增大，但那是以后的事情了。我会力争保持在google的一半之内。） /***** 资源占用对比 *****/ 用任务管理器做了一个截图，分析对比：                 ftfind 由1个进程构成，高峰内存使用：7472K 可以看到google desktop search 由最少5个进程构成，高峰内存使用：19652K +4704K +18128K +2344K +12352k=57180K。 虽然google的5个进程的高峰内存，加起来不会同时达到57180K这个最大值，但和ftfind的1个进程的高峰内存7472K相比，结论很明显：ftfind的内存占用很少，远远胜出google的desktop search（7427K vs 57180k) 。 再比较线程数，句柄数，user 对象，gdi 对象，得出同样的结论：ftfind的资源占用，远小于google desktop search。 /***** 一个工作日后，索引数量的对比 *****/ 同时安装google desktop search和 ftfind，一个工作日结束后，观察索引文件的数量。 因为google 默认情况下，将对所有固定驱动器编制索引，所以保持默认的设置不变。 而ftfind设计时，首先考虑要尊重用户的隐私，所以需要用户人工添加盘符,我指定了c盘和d盘。 google的默认设置   ftfind的初始设置   然后,同时运行这2个软件。该上网就上网，该聊天就聊天，中午和下午休息的时候，让计算机开着，处于空闲状态，好让这2个桌面搜索引擎，有时间去建立索引。晚上，再看这2个软件，索引已经建立完毕。 google索引了329个项目 ftfind索引了3395个文件   莫名其妙，ftfind 在规定时间内（1个白天）索引的数量上， 居然又赢了。 索引的数量，其实没有技术含量，而且google索引的文件种类，也比我的ftfind多了很多种类。我还要继续努力呀。 google desktop search 不应该才索引这么少的文件呀？我也奇怪，莫非是哪个默认设置搞错了？ /***** ... http://my.donews.com/18ie/2006/12/21/tbsddusnyebnwkzubbsndldakxkhxktqllto/