中国计算机学会学术著作丛书：《对等网络——结构、应用与设计 Peer-to-Peer Network Structure, Application and Design》PDF电子书（正文，共九章）.pdf_大学文库

对3网终：往钓、应闲5设计结点(server,服务器)在系统中占据中心、主导的地位，管理其他从属结点(client, 客户)可执行的操作，控制其他结点之间的信息交换。分布式系统(distributed system)将管理和控制分散到它的各个成员结点中去，结点之间在功能上是平等的，没有谁拥有比其他人更多的特权。集中式系统的优势在于管理的集中化，能够对整个系统进行有效的控制，但它的优势也正是它的缺陷。由于所有结点之间的信息交换都要经过服务器，服务器本身成为限制系统工作效率和规模扩展的瓶颈；分布式系统刚好相反，由于管理的分散化，对整个系统的控制不像集中式那样强，但是由于信息交换的自由、平等，分布式系统常常拥有远远高于集中式系统的工作效率和规模可扩展性。在实际情况中，很多网络系统并不是采用纯集中式或纯分布式的极端方式，而是兼有两方面的特性，称为混合式系统(hybrid system)。因特网是最大的计算机网络，同样，它自诞生以来也一直存在着集中式与分布式两种不同的工作方式。客户/服务器模式(client/server mode,简称C/S)是因特网最传统、最成熟的集中式工作模式，许多重要的因特网应用协议（如HTTP FTP、SMTP等)采用了这一模式。在这种集中式的模式下，服务器将一直运行，被动地等待客户的主动接入，客户将请求发给服务器，服务器返回给客户所要的信息。客户/服务器模式在因特网的最初阶段工作得非常好，然而，随着因特网在规模上不断膨胀、在功能上不断扩展，服务器的负担越来越重，客户/服务器模式的低效率与难以扩展的缺陷暴露出来，它不再能适应需要极高效率与巨大规模的现代因特网。 “是人类的需求，真正推动了技术的革命。”每当人类所发明的技术不再能适应人类本身需求的时候，一定会有人提出新的思想、发明新的技术来解决现实与需求之间的矛盾。当传统的客户/服务器模式不再能适应现代因特网需求的时候，人们将目光重新放回到长久被忽视的分布式系统上，对等模式(Peer-to-Peer mode,简称P2P)正是在这种情况下受到重视并很快成为研究热点。“Peer”一词在英文中的意思是“同等、对等的人”，故而“Peer-to-Peer”译为“对等（计算）”：国内很多人将P2P称作“点对点”，这是不恰当的，因为“点对点”是“point-to-Point'”,和P2P不是一回事。对等模式的本质思想在于打破传统的客户/服务器模式，让一切网络成员享有自由、平等、互联的功能，不再有客户、服务器之分，任何两个网络结点之间都能共享文件、传递消息。图1.1.1反映出从C/S到P2P的转变，Peers之间的逻辑连接构建在物理连接的基础上。对等网络(peer-to-peer network,简称P2P网络)是分布式系统与计算机网络相结合的产物，是采用对等模式工作的计算机网络。图1.1.2描绘了随着分布式系统规模的扩展，分布式计算的模式相应发生的改变。在对等网络中，每个网络结点在行为上是自由的，在功能上是平等的，在连接上是互联的，所有结点分布式地自组织成一个整体网络，因此，它能够极大程度地提高网络效率，充分利用网络带宽，开发每个网络结点的潜力

对3网终：镇钓、应闭5设计宽资源，被认为是“改变Internet的新一代网络技术”。对于已经应用或正处于理论研究阶段的各种P2P网络，国内外的研究者从多个不同的角度对它们进行了分类，包括从体系结构、出现时间角度和应用领域角度进行的分类，到目前为止尚未出现公认的、明确的分类方法。本书从P2P网络设计思想出发，兼顾体系结构和出现时间两个方面的考虑，将P2P网络分成三代：第一代，混合式P2P网络，它是C/S和P2P两种模式的混合；第二代，无结构P2P网络，它以分布、松散的结构来组织网络，故称“无结构”：第三代，结构化P2P网络，它以准确、严格的结构来组织网络，并能高效地定位结点和数据。对这三代P2P网络的讲解，是本书的一大重点，分别对应第2、3、4章的内容。读者需要注意的是：我们的分类仅出于本书行文、讲解的考虑，并非P2P领域明确的界定。现代计算机网络均采用层次化的结构，以提供一个便于分析的模型和利于开发的技术接口，它具体地表现为一个网络通信从高层到低层的协议栈。这里面最为著名的是ISO/OSI(国际标准化组织/开放系统互联)模型和TCP/IP(传输控制协议/因特网协议)模型，前者细致、正式，后者更为实用。在本书中对于层次化的网络结构描述均采用TCP/IP模型，如图1.1.3所示。图1.1.3中TCP/IP模型共分四层：应用层 (C/S:P2P) 网络接入层、网络层(IP协议)、传输层传输坛 (TCP/UDP协议) (TCP/UDP协议)和应用层。在此之前树铬尽 TP协议) 所说的集中式系统、分布式系统、客户/服网路接入层（链接协议与粉班协议）务器工作模式以及对等计算模式，都是指四层中的最高层一应用层的工作方式，图1.1.3TCPP协议栈而下面的三层通常采用标准、单一的工作方式，本身并没有集中式与分布式之分，只是为应用层不同的工作方式提供底层的服务支持。 P2P网络的核心机制，是在应用层建立逻辑上的覆盖网络(overlay network), 封装下面的三层，让P2P网络的研究者和开发者不必关心下面三层是如何工作的，而仅仅去考虑应用层覆盖网络的工作情况，将精力集中于覆盖网络的设计、优化上。虽然如此，在对P2P网络做基础的研究和设计时，有时还是要考虑到下面层的工作情况，因为应用层建立的覆盖网与底层实际的物理网的工作情况不可能完全相同，在图1.1.4中，覆盖网上的一条逻辑连接AE对应物理网上三条物理连接：AC,CD和DE。所以从覆盖网看到的行为与底层物理网实际的行为并不一致。P2P领域的研究者已经对这种不一致性做了大量的工作以尽可能减少两者之间的差异，提高整个网络的效率。简言之：P2P网络工作于应用层，但兼顾网络底层。读者在阅读本书时应该注意到这一点，这一问题在以后的章节中会有详述

6 第1章P2p网终简尔 P2P卷溢树底层物理树图1.1.4P2P覆盖网和底层物理网的不一致性 (虚线表示逻辑连接，实线表示物理连接》在P2P覆盖网上依靠DHT(distributed hash table,分布式散列表)通常能准确、快速地路由消息和定位数据对象，这正是P2P查询的优势所在。“祸兮，福之所倚；福兮，祸之所伏。”正如计算机领域那条著名的“没有白吃的午餐定理”(No Free Lunch Theorem)[Wolpert and Macready,l997]所述任何方法对一类问题做得好，必然对另外某类问题做得不好，这就是代价。使用覆盖网和DHT的P2P网络，为追求性能和效率所付出的代价，是语义模糊查询的困难以及对动态网络环境中错误行为的容忍性下降。针对前者，语义模糊查询至今仍然是P2P领域的一个开放型问题，尤其对结构化P2P网络更为困难；针对后者，P2P领域的研究者提出的方案各具特色，总体上分两类：①网络周期性主动更新：②在检测到错误后被动更新。前者机制简单而开销很大，后者开销较小而机制复杂，这就带来了两难问题。前面描述了P2P的核心机制，有了它们，一个P2P网络能正常工作，但不见得 “好用”，因此人们又提出了很多P2P的“增强机制”，以改善网络状况，让它更好地工作。这些增强机制不少是从分布式系统或者计算机网络领域借鉴过来的，如数据复制、缓存、分片等；当然，更多的增强机制来自P2P本身，如负载的均衡、异构性的开发、少数结点负担过重导致的“热点”问题、物理网与覆盖网不一致造成的 “拓扑意识”问题、保护用户隐私的“匿名”问题、P2P用户的“声誉”和“信任”问题以及最令人不放心的P2P“安全”问题。 “纸上得来终觉浅，绝知此事要躬行。”理论是灰色的，生活之树常青。理论并不都现实可行，即使真的实现了，也未必好用，所以做研究注重理论结合实践，强调实践的作用。对P2P来说，由于其网络规模巨大，开发实际系统的软硬件开销巨大，因此P2P实验更侧重于“模拟”和“仿真”。 “图难于其易，为大于其细。”本章的后续部分，将从“大”而“易”的方面讲述 P2P的历史、现状、缘由、特点、应用和著名模型：而本书后面的各章，则从“细”而

6 对3网终：锋构、应用5设计 “难”的方面去具体地讲述三代P2P网络（第2、3、4章），列举当前世界范围内的各种P2P应用体系和应用软件、介绍一些著名软件的使用（第5章），研究P2P技术的核心机制、增强机制、模拟和仿真（第6、7、8章），最后总结P2P的现状并展望 P2P的未来（第9章）。我们给每位读者的建议是一把握本书的脉络，理清P2P 的历史，有选择性地阅读，需要的时候回过头来参考。 1.2P2P网络的发展历程 1.第一阶段：1999一2000年，民间软件，锋芒初现 1999年，18岁的Shawn Fanning开发了世界上第一个应用性P2P网络软件 Napster,在半年时间里即拥有5000万注册用户。Napster是第一代P2P网络一混合式P2P体系(hybrid P2 P architecture)最杰出的代表，向整个世界传达了P2P优秀的思想，展现了P2P巨大的潜力。不久以后，Napster网站因为版权问题被推上法庭，此后一直官司不断，在经历了约两年的法律纠纷之后，2001年底，流星般的Napster最终关闭了。 2o00年3月，第一个无结构P2P网络Gnutella诞生于NullSoft公司，它是第二代P2P网络一无结构P2P体系(unstructured P2 P architecture)的代表。虽然发布之后不久，Gnutella就因为其母公司担心法律问题而被关闭，但是gnutella 所代表的无结构、纯分布式P2P体系的思想却广泛流传开来，而Gnutella本身成为一种典型的无结构P2P网络协议。几乎与Gnutella产生的同时，以“自由、安全、匿名”著称的无结构P2P网络 Freenet推出，它从一开始就有着很不同的理念：Napster、Gnutella这类P2P系统的主要目的在于交换文件，而Freenet的目的是共享Internet上的计算机资源，组建一个不受限制、不受审查的信息发布和获取的平台。虽然Freenet拥有前卫的思想和高超的技术，但由于其使用的复杂和过于理想的自由主义理念，Freenet在大多数国家被严格管制。 Gnutella问此后不久还出现了新的无结构P2P应用系统KaZaA,但与短命的 Gnutella不同，KaZaA从开始到现在，其用户群不断扩大，号称拥有超过300万的平均在线用户，KaZaA网站上的统计数据称：截至2007年3月，KaZaA软件已被下载超过3.8亿次，毫不逊色于当年的Napster。.KaZaA基于著名的FastTrack 协议，该协议是与Gnutella并列的典型的无结构P2P协议，其最大的改进在于引入“超结点”(SuperNode),从而第一个有效地开发了P2P网络中的结点异构性（即结点之间在能力上的差异)。基于FastTrack协议的应用还有KaZaA的类似体 KaZaA-Lite,以及Grokster、iMesh等

第1幸P2p网终简尔 eDonkey(电驴)差不多和Gnutella同时出现(2000年)，它提供文件分块下载，从而每个文件可以从其他多个用户并行下载。eDonkey网络结构很像 KaZaA,它采用“服务器”（不同于一般意义上的服务器）作为网络的核心部分，“服务器”的作用很像KaZaA中的“超结点”，每个用户只需连接到特定的“服务器”来共享和获取文件。eDonkey从一开始就吸引了很多Internet用户，到今天仍然非常流行。 2000年8月，著名出版人O'Reilly组织了一次意义重大的P2P峰会，来帮助人们认识P2P的潜力并消 PEER-TO-PEER 除Napster、.Gnutella造成的“P2P是盗版技术”的负面影响。参与P2P峰会的既有Napster、Gnutella、 Freenet的开发者，也有那些试图挖掘P2P分布计算能力的公司和组织如Popular Power、SETI@Home、 Distributed.net等。O'Reilly认为目前P2P的状态类地a制es的似于“盲人摸象”，P2P技术的领导者们每个人都看到 heP和werf 了P2P这头“巨象”的一些特征，如果他们能够有机会 Disrtive Technologles 交流思想，P2P将会更快地发展。这次峰会主要有三个目的：①诠释P2P,说明要从中得到什么；②描述 P2P的作用，P2P能解决什么样的问题；③形成一个提供给大众的关于P2P的信息，消除那些负面影响。在那次峰会后不久，O'Reilly于2001年出版了日前所知最早的关于P2P网络的书籍Peer-to-Peer:Harnessing the Power of Disruptive Technologies(见右上小图)。这本书包含了有关P2P的诸多话题：P2P的起源、 Napster.、SETI@Home、Jabber、Gnutella、Freenet、Red Rover、Publius、Free Haven、元数据、缓存管理、信任机制、声誉、安全性等，它主要的不足是内容陈旧、缺乏代表性，因为那时对P2P网络的研究实际上还处于萌芽期。同是2000年8月，Intel公司宣布成立P2P工作组，正式开展P2P的研究。工作组成立以后，积极与应用开发商合作开发P2P应用平台。2002年Intel发布了. NET基础架构之上的P2 P Accelerator Kit(P2P加速工具包)和P2P安全API软件包，从而使得利用微软.NET开发软件的人员能够迅速地建立P2P安全Wb应用。 IBM、HP等公司也是Intel成立的P2P工作组中的成员。这两家公司在2000 年9月共同推出了一种开放存储技术，这一存储技术利用了P2P技术，可以方便地从用户的硬盘向服务器上复制数据。HP公司还把P2P的立足点放在打印技术上，该公司新推出的网络打印技术可使用户通过P2P网络共享打印机。 2.第二阶段：2001一2003年，步入正统，群雄逐鹿如果说1999年属于第一代混合式P2P网络的辉煌、2000年属于第二代无结

8 对3网终：体构、应用5设计构P2P网络的成功，那么，2001年则是第三代P2P网络一结构化P2P体系 (structured P2 P architecture)展现的舞台。这一年学术界真正开始关注和重视 P2P网络，IEEE成立P2P专业会议，ACM在网络通信领域最具影响力的几个会议发表了多篇有关P2P的经典论文，P2P领域最具代表性的经典模型和应用体系被提出，其中有：Chord、CAN、Tapestry、Pastry、CFS、OceanStore、PAST等；同时，大多数知名的学术团体和技术组织成立或者完善了专门的P2P研究组，其中有：MIT 的Chord/CFS研究组、UC Berkeley的Tapestry/OceanStore研究组，Microsoft Research和Rice University的Pastry/PAST研究组、Stanford Peers研究组等。 2001年，Ray Ozzie(著名的Lotus Notes软件的开发者)创立了Groove Networks公司，开发Groove Virtual Office(Groove虚拟办公室)，此软件意在使用P2P技术营造一个Internet协同工作空间。2005年3月，Groove公司被软件巨人微软以1.2亿美元收购，而Groove的创始人Ray Ozzie成为微软CTO(首席技术官)。实际上早在2001年，Groove公司就曾接受过微软高达5100万美元的投资，所以2005年的收购并不值得奇怪。在微软最新推出的Office12办公软件中，已整合了Groove软件：处于测试中的Microsoft Office12共包含14个组件，而Groove占据其中3个。 2002年，P2P专业会议IPTPS首次召开，会议的规模不大，但影响力不小。 SIGCOMM、SPAA、PODC、INFOCOM、ICDCS等网络通信、分布式系统领域的重要会议继续关注P2P,甚至有些设置了P2P专题讨论会，新的P2P模型如 Kademlia,Viceroy等被提出，它们在理论上很有意义。 2002年5月，由于不满意当时的eDonkey:2000客户端软件，并且坚信能做出更出色的类似客户端，Merkur聚集了一批原本在其他领域有出色发挥的程序员到他的周围，开始了著名的“eMule工程”。eMule这个名称“电骡”表明了它和 eDonkey的关系一承继关系，但eMule更出色。他们没有想到的是，不久以后 eMule的流行性甚至远超过它的前驱eDonkey.。 2002年10月，新一代的混合式P2P网络BitTorrent推出，到2003年BT (BitTorrent简称)已在世界范围内（尤其是在中国）广泛流行。2006年底，中国互联网络信息中心(CNNIC)发布的中国互联网统计报告显示：中国1.11亿网民中有27.8%的人使用过BT软件（超过3000万人），其流行程度由此可见一斑。 BitTorrent使用基于文件的分散式服务器，共享同一文件的用户构成一个独立的子网，所以BitTorrent既不会因为一台服务器失效而影响整个网络，也不会像 Napster那样被关闭网站(BT网站太多且分散在世界各地)；同时，分片优化、阻塞控制等方法使得BT能够充分利用网络资源。自2003年开始，P2P的发展实际上进入一个稳定期。在解决了P2P网络最核心的问题后，学术界将重点放在其性能增强、安全问题和实用系统开发上。这里

9 第1章P2p网终简介值得一提的是由MIT的Frans Kaashoek教授领衔的研究小组，他们联合其他美国一流高校和研究机构进行的IRIS项目(Infrastructure for Resilient Internet System,容错的Internet系统架构)，用P2P的方法去研究并建立新一代互联网络结构，得到了2003年美国NSF(自然科学基金)在T领域最大的一项基金资助。另一方面，商业领域更多地在改进过去的P2P应用软件，很多混合式、无结构的 P2P网络将学术界结构化P2P体系的思想整合进来，如BitTorrent就整合了 Kademlia的分布式散列表，这种融合体现了P2P学术界对商业界的影响，是难能可贵的。 2003年，在无结构P2P方面Gnutella协议0.6版发布，它比Gnutella协议 O.4版扩展了很多，比如以明确的形式建议“超Peer”(UltraPeer)的使用。在结构化P2P方面，新的P2P模型SkipNet、Koorde等被提出，SkipNet是第一个显式提供路由局部性、对象语义局部性的结构化P2P模型，Koorde则在理论上具有很高的价值，证明了一些P2P领域悬而未决的结论。 2003年，商业领域诞生了一颗璀璨的新星一Skype公司，它是全球第一家 P2P即时通信公司，采用P2P技术为用户提供免费或廉价的语音通话服务，使用端到端的加密技术保证通信的安全可靠性。仅一年时间，Skyp用户就超过了 1300万，迄今为止注册用户超过2300万，同时在线用户数高达100万，而且新用户以每天6万的速度增长，其迅猛的发展速度再度证明了P2P的巨大潜力。软件领域的巨人微软公司向来不愿错过每一项热点技术。为了使Windows 操作系统更好地与P2P应用协调，Microsoft对Windows XP进行了强化，公布了 “Windows XP P2P软件开发包”，这个编程工具使软件开发商能够更容易地在 Windows XP上编写P2P应用程序。2003年，Microsoft并购了P2P新公司 XDegrees,声称将把XDegrees的技术用于它的存储产品，随后，Microsoft推出了一款面向年轻人的即时通信软件“Three degrees"”,大刀阔斧地挺进P2P市场。微软在全球各地的研究院基本上都将P2P列入其工作重点并发表了多篇有价值的论文，这里面做得最好的是微软剑桥研究院(Pastry/PAST系列)，微软亚洲研究院的系统研究组在P2P方面也很不错。 3.第三阶段：2004一2006年，国际国内，风起云涌 2004年，在IPDPS会议上基于CCC拓扑的Cycloid常数度P2P模型被提出，它兼有常数度、超立方体、环形多种属性，可以看成是对此前诸多结构化P2P模型的一个总结。从Cycloid的提出可以看出，P2P网络的主要问题、核心机制、整体架构已经形成，P2P研究者对这些重大问题已经形成共识，下一步要做的工作，应该主要放在更细节、更高效、更实用的方面。另外，如何将各种不同的P2P应用系统像Web那样整合起来(2o05年发表于SIGCOMM会议的OpenDHT服务体系

10 对3冈终：练构、应用5设计在这方面做了努力)，甚至将P2P和Wb整合起来，也是一件非常有意义的大事。 2005年底，Springer在其LNCS(Lecture Notes in Computer Science)系列中出版了一本内容丰富、涵盖面非常广阔的P2P专著Peer-to-Peer Systems and Applications。全书共33章，分10个部分，每章由不同作者编写，涉及 Peer-to-Peer Systems P2P的概念、历史、结构、应用、自组织、检索、性能、移动环 and Applications 境应用、商业应用与市场等多方面内容，提供了对整个 P2P领域权威、全面的总结、分析与展望。此外，P2P的大师Ion Stoica将意为上述专著绘制了封面（见右图）并撰写了前言，使该书增加了影响力。我们再将目光转到国内的P2P,首先来看学术界的情 Springe 况。国内一些高校、科研组织从2003年前后开始P2P的研究开发工作，其中有影响的是：北京大学网络实验室开发的“Maze网络文件系统”、华中科技大学集群与网格计算实验室开发的“AnySee视频直播系统”(Maze 和AnySee已投入应用，尤其在高校学生中相当流行)、清华大学高性能计算研究所开发的“Granary广域网分布式存储系统”（处于开发优化进程中）。此外，仅以2005、 2006年的国家自然科学基金资助项目为例，P2P相关项目就有数十项，表1.2.1是一份不完全的统计。表1.2.12005、2006年国家自然科学基金资助的P2P相关项目（不完全统计）年份批准号项目名称依托单位 60503045 P2P网络自主行为模型研究及其应用上海交通大学基于语义链的对等网络模型及异构数中国科学院计算技术 60503047 据管理方法研究研究所 60573053 P2P系统的信任管理和匿名问题研究中国科学院研究生院基于模式的高可扩展性P2P数据管理 60573096 西北工业大学技术的研究 60573110 基于结构化对等网络的全文搜索技术清华大学 2005年 60573120 P2P网络的关键安全问题研究华中科技大学基于P2P思想的网格计算资源动态管 60573127 中南大学理与任务调度研究基于泛洪的非结构化P2P系统中分布 60573129 电子科技大学式拒绝服务攻击防范方法的研究 60573131 实用化对等网络技术的研究南京大学自适应的基于分布式索引缓存的无结 60573140 温州大学构P2P快速搜索算法的研究