WebCrawler在搜索引擎发展史上占据重要地位，因为是它开创了对网络文件进行全文索引的先河。1994年4月，平克顿把自己的这个课外发明上传到了网上。截至当年11月份，它接受的查询就多达一百万条。平克顿把这项发明称为〃核武器设计和研究〃。1995年6月，美国在线以100万美元的价格购买了WebCrawler技术。当时，美国在线还没有任何同网络相关的资产。这次收购也预示着同搜索相关的收购战役即将打响。平克顿回忆说：〃当时对于因特网将要变成什么样子，大家都茫然无知。〃
WebCrawler为网上冲浪者们，尤其是美国在线的用户，开启了一个新世界。它提供全文搜索服务以及简单的以浏览为基础的界面。自此，网络迈出了重要的一步，不再局限于学术研究人员和技术精英的圈子，而是进入了主流消费市场。
第10节：第一个真正好的搜索引擎
作者：＇美＇约翰·巴特利
第一个真正好的搜索引擎
因特网还是新生事物之时，整个网络上不过有区区1000万张网页，雅虎只不过是一组时髦的链接，而'google'不过是一个巨大的数字的错误拼写形式。这个时候，路易斯·莫尼尔（LouisMonier）只用一台计算机就可以装下整个网络。
对于AltaVista网站的建立有一个这样的传说：数字设备公司（DEC）刚刚开发出来处理速度非常快的阿尔法处理机，正处心积虑想要找到一种方式来证明它的威力。信息技术商务市场的核心问题就是对巨型数据库的处理，DEC需要一个庞大的数据库，在上面进行搜索。公司处境艰难，几乎没有什么好消息，所以期待出现一个公共关系天使，重塑其技术创新公司的形象，以鼓舞士气。DEC设在加利福尼亚州帕洛阿尔托的Western实验室的研究人员路易斯·莫尼尔建议开发一个搜索引擎：先把整个因特网这个巨大的数据库放到阿尔法计算机上，然后再开发一个程序来显示阿尔法速度的优越性（这就是搜索引擎了）。很快，AltaVista就诞生了，它的使命是证明DEC公司在硬件生产领域的统治地位。然而，同大多数创业故事（我想到易趣的PezDispenser糖果贩子传奇1。）一样，这个故事仅道出了一半的事实。
〃这完全是事后的推论！〃路易斯·莫尼尔声明。在回忆AltaVista最初的日子的时候，莫尼尔从来不会含糊其辞。我们在帕洛阿尔托一家小咖啡馆喝咖啡时，他告诉我：〃DEC当时正陷入死亡漩涡。不管有多少东西，他们都能搞得一团糟。从莫内尔的名字可以看出来，他拥有法国血统，他的语调和说话方式都透出高卢式的轻蔑。〃DEC公司内没有人知道我在做什么。他们是错过机会的专家……他们只不过觉得这能够为所谓的硬件传奇提供佐证。〃
事实上，DEC内部有不少人意识到莫尼尔的工作的重要性，然而不幸的是，这些人大都供职于技术部门。AltaVista诞生的经过在不同的人的叙述中有不同的版本。20世纪90年代初管理DEC网络系统实验室的布莱恩·里德（BrainReid）当然记得莫尼尔在建立AltaVista的过程中起到的作用。搜索引擎的主意就是在里德的下属们在一次晨会上提出的。当时，莫尼尔在场听到了这个想法并拿走了它。
里德宣称，莫尼尔被认为是AltaVista的发明人，而〃AltaVista是在我的会议室里诞生的。我们当时在试图找到能够善加利用我们惊人的带宽资源的途径。我们拥有新的芯片，出色的员工，还有一家摇摇欲坠的公司。我们想为新的计算机找到一个新支点，希望它能够完成一项任务，做得比惠普和太阳的计算机都要好。〃在里德的讲述里，诞生故事的传奇版颇受质疑。
当我问里德，莫尼尔的版本是否准确时，他停顿了一下，最后承认确实没有人真正明白这个搜索引擎最终会变成什么样子。〃关于它的诞生过程有很多历史争论。很多人不择手段地争抢对这个创意的所有权。〃里德解释说，在DEC这样一家大公司，要是有一个创意真正起到了作用，让公司看起来还不错，每个人都希望这个功劳能算在自己头上。在一个很短的时期内，AltaVista就是这样一个创意。2
就像在信息产业常常出现的情况一样，几乎搜索行业的每一家知名企业都能在大学中找到他的根。因为大学是一个允许好主意不受商业需要束缚，尽情开花结果的地方。Google，Exite和雅虎都发迹于斯坦福大学；Inktomi来自伯克利的加州大学；Lycos是从卡内基梅隆大学起家的。
很多时候，一项伟大的创新不是在大学中，而是在一家公司里成功的。为数不多的几家公司认识到了学术研究的重要性并注重学术氛围的营造。在这些公司，技术开发允许开放式的质询，有失败的自由，不受资源限制，也接受开放性的合作。
不过，没有几家公司能负担得起纯科研型实验室这样的奢侈。而有足够的预见性和远见卓识来建立这样的实验室的公司就更是凤毛麟角了。那些投资于纯学术性研究的公司都抱有这样一个单纯的目的：实验室肥沃的土壤培育出来的创新成果能够有朝一日为公司架设一座通往未来的桥梁，作为公司在这个高度动荡的产业变幻莫测的洪流中的一条安全通道。当然还会期待中大奖的幸运：从理论上讲，纯学术性研究允许大幅度的进步。在这个进步中也许就蕴藏着可以燎原的星星之火为公司赚取上千亿美元的机会。这当然是一个大家都不会讲明的纯学术性研究的目的。但是，公司至少可以抱有这样的梦想吧！
上世纪八十年代末，DEC是信息技术产业中少数几家进行长期性学术研究的大企业之一。曾经有一段时间，他设在加州帕洛阿尔托的最重要的Western实验室就提供了这样一座通往未来的桥梁。这就是被称为AltaVista的搜索客户程序。
施乐公司也许会被指责自毁前程3，因为众所周知，施乐的PARC研究实验室发明了个人电脑和图形用户界面，可是它却以一个局外人的身份眼睁睁地看着苹果，IBM和微软共建个人电脑的宏图伟业。来简单地了解一下AltaVista的历史，你就知道施乐绝非唯一一家错失良机的公司。
自从20世纪90年代中期，因特网生根发芽之后，信息技术行业内部规律性的大起大落，以及兴衰更迭的脚步都明显加快了。然而，AltaVista还是有理由受到特别的关注。借用现在的业界格局来说明，AltaVista就是它那个时代的Google。在1996年，它可以说得上是最受欢迎的网络产品品牌。当代搜索行业许多的创新和机遇在它身上已经初现端倪，其中包括自动翻译，影音文件查询以及搜索结果群集技术。作为一个业务部门，AltaVista曾经在短短三年内，在不同的东家的管辖之下，三次试图上市，却三次都失败了。也许AltaVista的故事中最具教育性意义的部分是将它开发出来的DEC公司的兴衰起伏。这家公司在其最初的经营领域取得了惊人的成功，最后却一败涂地。究其原因，还是因为其管理层墨守陈规，总是拘泥于过去的成功经验，不肯因时而动。
第11节：莫尼尔描绘互联网1
作者：＇美＇约翰·巴特利
莫尼尔描绘互联网
尽管对于AltaVista这个创意的所有权有许多争议，但是毋庸置疑的是，路易斯·莫尼尔才是那个把它从概念变成可操作的编码的人。讽刺的是，他是从施乐的PARC实验室转到Western实验室的。莫尼尔下定决心离开PARC，因为他觉得〃一次改组就已经足够了〃。（有趣的是，Google的首席执行官埃里克·施米特以前也供职于施乐）。
莫尼尔告诉我：〃我一直都对解决困扰人类的大问题很感兴趣。〃搜索就是令人困扰的问题之一。1994年的时候，待解决的问题不计其数，更重要的是，市场上还存在对性能优越的搜索引擎实实在在的需求。莫尼尔回忆道：〃当时的搜索引擎简直是糟透了。雅虎是很好的地址目录，但是没有搜索功能。我的工作是从网页捕获开始的。〃
我们在第二章已经说过，传统的搜索引擎的核心由三部分组成。首先是网页捕获装置（或者网络爬虫），它尽可能地收集网络上的每一张网页。然后是索引，也就是根据被捕获网页生成的巨型数据库。最后是用户界面和搜索软件，它们共同以智能化的方式为终端用户提供索引中相关的内容。
1994～1995年间，互联网还是新生事物，没有人真正知道它到底有多大以及它成长得有多么快。但是，这个行业中的人都知道它大极了，而且它正在以一种令工程师和数学家们心悸的速度发展壮大。网络信息的数量在非常短的时间里就不断翻番，直至无穷大。莫尼尔觉得，如果可以发明一种机器来权威地为因特网的大小做个结论，那么他就可以名垂青史了。
当时已经存在十几种搜索引擎了，但是它们都存在这样或那样的缺陷。有的用户界面非常糟糕，有的则缺少强有力的查询语言。大部分只索引URL，而不是网站的所有基本内容。莫尼尔利用阿尔法计算机强大的处理能力发明出一种新式的网页捕获装置。这一点对实现莫尼尔完整性的目标非常关键，他的目标是要建立整个网络的索引，而不仅仅限于URL。
网页捕获以线形方式工作，也就是说，一个接一个地发现网站并储存它一路上找到的所有网页。如果局限于单一的查找链，一个网页捕获器永远也不能穷尽整个网络它需要花费太多时间来收集所有这些不计其数的链接。远在它完成这些工作之前，互联网已经又明显地长大了许多，收集所有网页的工作根本就没有可能了。
要解决这个问题，就要求许多个网页捕获器同时作业，共同建立网络索引。仰仗阿尔法64位的内存，莫尼尔可以同时派出1000个网络捕获器，这是前所未闻的数量。它们所带回来的东西是在网络短暂的历史上所能见到的最接近完整的索引包含数十亿单词的1000万个文件。
第12节：莫尼尔描绘互联网2
作者：＇美＇约翰·巴特利
莫尼尔还为这个新的索引设计了一个用户界面，在DEC内部进行了为期两个月的测试。每一个使用它的人都爱上了它。但是当莫尼尔寻求将他的引擎向公众开放的许可时，DEC的经营者们挠头了。搜索引擎对销售硬件设备有什么意义呢？
要是当初莫尼尔没有成功打动DEC的话，那么他也就没有什么了不起了。他向公司保证AltaVista会为公司建立良好的公众形象，而这恰恰是DEC非常缺乏的东西。1995年12月15日，莫尼尔关闭了DEC公司的防火墙，向公众开放了altavista。digital。网站。当时，这个网站已经索引了1600多万个文件。
但是我们是经营微型机的！
1995年对搜索而言是关键的一年。这一年新成立了十几家搜索公司。可是，对微型机经营企业来说，这是灾难性的一年。仅仅五年之前，DEC还处在鼎盛时期，拥有140亿美元的收入和13万名雇员。绝大多数公司的数据中心都是由DEC公司生产的VAX系列微型机来管理的。而正是这些数据中心推动了20世纪90年代末的因特网革命。
20世纪90年代中期，公司开始赔钱了，一年要赔20亿美元。在80年代末的繁荣时期，公司规模过度膨胀，而且（尽管也尝试过）他还是没有准备好迎接个人电脑时代的新挑战。在个人电脑时代，服务器和台式电脑都是基于个人电脑技术的。DEC公司习惯于纵横微型机市场，它的管理层完全应付不了来自康柏（paq）或戴尔（Dell）这类公司的竞争。
在DEC日渐衰败的时期，公司的领导者们疲于奔命，匆忙出台一项又一项新举措，裁员数万。今天设立一个软件部门，明天又建立一条新的个人电脑生产线。最后，公司又试图从因特网市场中捞到救命稻草，因为他们发现竞争对手硅谷图形公司（SGI）和太阳公司在销售高性能网络服务器，也许DEC也可以走这条路。为了推动需求，DEC软件开发的重点放在因特网网络连接和网络安全组件上。这是公司短视症的典型案例DEC的管理者们企图将全新的生机勃勃的计算机产业模式硬塞进DEC公司老旧过时的生产线中。他们期待网络的发展能够迫使顾客去购买微型机。恰恰相反，网络促成并推动了个人电脑革命，也带来了DEC旧式经营的覆灭。
可是，DEC其实可以说是因特网的先驱之一。如果说DEC曾经发掘过因特网这座金矿，那么所以这些探索都发生在Western实验室。这所实验室拥有当时全世界最大的因特网内容的宝库一台被称为Gatekeeper的计算机。Gatekeeper是一台拥有闻所未闻的超大容量的大型计算机。它可是连接早期因特网的一条宽阔的渠道。
布赖恩·里德回忆说，科研人员创造Gatekeeper时期待它可以〃造福大众〃。它起到了公共空间的作用，任何人都可以在上面存储和共享各种数字文件。当时，许多早期的因特网技术开发人员都在使用它提供的空间。也许当时DEC在商用微型机市场已经施展不开拳脚了，不过，在初生的因特网行业里，他还是很有号召力的。
第13节：最早的Google
作者：＇美＇约翰·巴特利
最早的Google
回顾起AltaVista发布以来所发生的事情，莫尼尔不禁摇头叹息。果然不出他所料，AltaVista面世之后非常受欢迎，然而〃我们过分成功了，以至于搬起石头砸了自己的脚，〃他懊悔地说。没有任何市场推广也没有正式的发布会，然而AltaVsita仅仅在发布的第一天就接待了30万名访客。一年之内，这个站点就完成了40多亿次的查询。40亿！几乎跟地球上的总人口一样多的查询啊！这的确非常了不起。
AltaVista所带来的媒体关注让莫尼尔DEC的老板们乐昏了头。莫尼尔回忆说：〃整个管理层都大吃一惊。他们还是不能理解这其中蕴藏的机遇，不过爱极了它带来公众效应。〃
他们简直爱死了它的公众效应。事实上，在一次会议中，一位DEC的公共关系主管还整理了厚厚一叠媒体对这个网站的报道的剪报集。作为庆祝，这些战利品还在董事会议上被郑重其事地传阅了。可是，当莫尼尔回顾这次称得上是非常成功的产品发布时，他的心情还是非常沉重的。他说：〃这些人还是习惯于硬件产品。〃当他说〃硬件〃这个词的时候仍带着轻蔑之意。〃请记住，这就是那家仅仅因为他们不喜欢任何不是微型机的东西就将阿尔法计算机搁置了18个月的公司。因此，当媒体开始不停地发问的时候，他们匆匆编造了一个'显示新硬件的优越性'的理由，教我这样应付媒体。〃
AltaVista的第一位首席执行官艾琳·兰（IlenLang）是一个比莫尼尔更懂得外交技巧的人，当我给她机会让她批驳莫尼尔的说法时，她没有上钩。1995年，兰从莲花公司（Lotus）的一个高级职位被挖角到DEC公司，领导软件集团。她加入不久，AltaVista就发布了。她告诉我：〃我们那时候就知道一件大事，其意义绝不仅仅是炫耀DEC公司的硬件实力。〃
在Western实验室看到AltaVista以及其他几样同因特网相关的好东西之后，兰迅速重组了新建的软件部门，率领它加入因特网市场的争夺，而AltaVista就是它王冠上的宝石。但是兰和莫尼尔很快就因为DEC公司的内部政策而受挫。炙手可热的AltaVista得不到资源支持，得不到关�
小提示：按 回车 [Enter] 键 返回书目，按 ← 键 返回上一页， 按 → 键 进入下一页。
赞一下
添加书签加入书架