这个题目很大,我去年和彼岸讨论的时候,说了一个上午也没完全弄明白。现在tinyfool也发表了他的见解,看来,这个东西很可能要写成一个系列。我很不想把这个东西写成论文,实在是没有乐趣,不过很难避免了。
最早知道p2p存储是在系里听一个教授谈研究方向,当时的论点是,计算机的空闲磁盘容量是如此的多,而p2p又是如此的成功,因此应该搞一个p2p的共享磁盘空间应用。事实上,个人计算机的空闲能力非常的多,而已经有很多应用来利用这些能力。最早的例子是使用空闲CPU时间,比如说NASA的SETI at home,就是利用个人计算机的空闲CPU时间,用屏幕保护程序来处理射电望远镜接受的数据,看里面有没有一串类似这样的东西:10,11,101,1001,1011,1101...Google在其早期还有好奇和共享精神的时候,也干过利用插件帮助计算蛋白质的空间结构的事情,现在反而在google lab里找不到了。
对空闲磁盘空间的利用,学术届有oceanstore, 工业界的应用,彼岸的“在线存储:现实还是明天?”里有很多例子。但是,存储数据的商业应用,还是有很多问题需要认真定义。我当时和彼岸的讨论中,有几个问题是比较重要的:技术上,p2p的服务质量。商业上,p2p的保密问题。后来还提出了服务的问题。
先说服务质量。tinyfool指出,要实现p2p的共享,一定要有两台机器同时在线。这里说的是服务质量的一个指标:可访问性。tinyfool同学认为,有人会提供这种服务。没错,比如说,tinyfool和keso要共享mp3,我愿意提供优质服务。可是,他们愿意用吗?我的机器跟他们之间的连接质量是怎样的?估计没有virushuo的好吧?不过,我的机器能一直在线,我不在乎电费,virushuo的机器就可能因为保证首都用电而被迫断电。那么,我的机器好,还是virushuo的机器好?我当时给了一个公式:Q = b * d * t ,量纲是byte^2。
这个公式里:b是两台机器之间可见的网络带宽,d是提供的共享空间,t是在线时间。这里有一个假定,就是机器的CPU都足够快。
那么,一台能够被高速访问到的,提供大容量磁盘空间的,7*24在线的机器,就是服务质量好的机器。目前美国的网络上,很多人家是用ADSL,磁盘很空,永远开机。所以Q应该是很好的。有了Q,就有可能象oceanstore里提到的,用自己家的机器为别人提供服务来赢利,Q是分红的指标。但是从中国的目前情况看,由于应用和ISP的问题,很多时候b和t都还不能保证,所以我当时提出,需要存在中央服务器群来作为补充。
为了保证可访问性,除了指望其他用户一直在线,从系统结构的角度说,还要有冗余和分布存储。keso共享出来的文件,应该是分布在不同的机器上的,我的机器上有几块,virushuo的机器上有几块,有的数据块是我们俩都有的(冗余),还有不认识的人的机器上也有。这样一来才能保证,当部分机器因为通信网或者电网的问题不能访问的时候,用户察觉不到。这样做的直接结果是:每个用户能够使用的磁盘空间,必定远小于他提供共享的空间。所以,allmydata的免费版本里,比例是1:10。
再说商业上的保密问题。
很可惜,我们的社会里有坏人。所以,当你使用第三台机器的时候,somebody is watching you!前面说的分布式存储可以从一定程度上防止第三台机器的主人偷你的全部源文件。但是,有的时候一段文字泄露也是要命的。所以,要加密。这个时候,前面说的公式里面,就要加进CPU主频f了:Q’=b*d*t*f.当然,如果你只是存点照片什么的,本来就是要跟大家共享,那就不必了。真的吗?且慢!keso共享给tinyfool的mp3,根据tinyfool交代(
),有几百首,那么,都是有版权的吗?当然,科学实验就不必追究责任了。不过,真的有人喜欢把银行帐号和密码存在一个文本文件里,然后放在共享盘上的…
最后的这个服务的问题,是比较新的想法。因为有了共享磁盘应用,还仅仅是有了一台裸机,实际的用户里面,能主动使用这种服务的人,少而又少。应当提供对用户的应用界面来把这个裸露的服务包装起来。在美国,因为Q已经很好,所以针对普通用户的应用会启动。
和以往一样,本文对很多技术细节都没有详述,所以是不完备的,不严谨的。本人也是不负任何责任的。:)
更新:
我当时在写出Q的公式以后,困惑了很久,因为byte的平方是一个很奇怪的东西,以前好象没有这个单位.那么,是否是公式有问题呢?现在看来,这两个byte描述的东西是不一样的.一个byte描述的,是存储的需求;另外一个byte描述的,是对更新的需求.因为使用这个服务的用户有两种:一种是要用空间来存东西的,另外一种是用空间来传递更新的.前者用的是d,后者用的是b * t.但是,从服务者的角度来说,一个新的用户的目的是不明确的(连用户自己可能也不知道),所以,用byte平方来描述一个用户所提供的空间质量,是适合的. 或者,为了区别,用于存储的应该叫byte,而用于更新的,应该叫bit.毕竟,更新速度慢.
[…] 说起来这个,是看到美人她爹,tinyfool一干人等正讨论p2p的存储问题。 […]
Pingback 由 virushuo demo 时间的痕迹 » Blog Archive » 每个人都需要个版本服务器-也谈p2p海量存储 — 九月 18, 2006 @ 9:53 am
我和火炬诚挚的邀请你参加,刚刚改名为TV的Google观察Blog的群体Blog,呵呵.
如果你愿意把你的gmail帐号告诉我,我邀请你加入.
我的是tinyfool@gmail.com
评论 由 tinyfool — 九月 18, 2006 @ 10:11 am
还有个问题…版权..
电影音乐这些东西怎么搞…
怕会树大招风,和bt下场有的比…..
评论 由 叶子 — 九月 18, 2006 @ 11:12 am
哈哈 完全看不懂 凑凑热闹 八完了 开溜……
评论 由 爱搞搞 — 九月 18, 2006 @ 2:37 pm
那这个TV不是就又得改名了吗?叫TVM呢(Mei),还是叫TVB呢(beauty)?那不是跟人电视台别苗头吗?
评论 由 beyondthesea — 九月 19, 2006 @ 1:54 am
to beyondthesea,
我没接受邀请,自己的事情已经太忙了…
评论 由 美人她爹 — 九月 19, 2006 @ 3:11 am
我在这方面也进行了一些研究,也想把该技术实现并形成软件.当前正在做这方面的论证.如果你有时间和兴趣,欢迎共同讨论.
我的msn : wcyht234@hotmail.com
请在MSN发请求的时候,标明 P2P在线存储.
评论 由 wcyht234 — 一月 15, 2007 @ 10:28 am
mud face
gimmemoney 443355 Books about mud face.
Trackback 由 mud face — 一月 19, 2007 @ 3:40 am
crossed checkered flag
gimmemoney 443355 Actual articles about crossed checkered flag and more.
Trackback 由 crossed checkered flag — 一月 19, 2007 @ 7:57 am
afi sing the sorrow
gimmemoney 443355 Of afi sing the sorrow and more
Trackback 由 afi sing the sorrow — 一月 19, 2007 @ 12:12 pm
ins web site
gimmemoney 443355 Eye of ins web site
Trackback 由 ins web site — 一月 19, 2007 @ 8:39 pm
3 inch of blood
SomegifttoME 443355 Relevant information about 3 inch of blood.
Trackback 由 3 inch of blood — 二月 3, 2007 @ 1:35 pm
hillsborough county tax assessor
SomegifttoME 443355 homepage of hillsborough county tax assessor
Trackback 由 hillsborough county tax assessor — 二月 4, 2007 @ 2:48 am
harrahs hotel reno nevada
SomegifttoME 443355 harrahs hotel reno nevada foundation
Trackback 由 harrahs hotel reno nevada — 二月 4, 2007 @ 7:04 am
toy r us us
SomegifttoME 443355 Search results for ‘toy r us us’.
Trackback 由 toy r us us — 二月 4, 2007 @ 11:08 am
boston globe help wanted
SomegifttoME 443355 News about boston globe help wanted.
Trackback 由 boston globe help wanted — 二月 4, 2007 @ 3:53 pm
acs new york
SomegifttoME 443355 Title of acs new york
Trackback 由 acs new york — 二月 5, 2007 @ 12:36 am
bunnykins
SomegifttoME 443355 Advantages of bunnykins.
Trackback 由 bunnykins — 二月 5, 2007 @ 5:24 am
usa mint
SomegifttoME 443355 –>usa mint
Trackback 由 usa mint — 二月 5, 2007 @ 9:18 am
shrimp scampi recipe
SomegifttoME 443355 Very actual information about shrimp scampi recipe.
Trackback 由 shrimp scampi recipe — 二月 5, 2007 @ 1:16 pm
morgan hill police
SomegifttoME 443355 home | morgan hill police | contacts
Trackback 由 morgan hill police — 二月 5, 2007 @ 5:32 pm
bud cauliflower
SomegifttoME 443355 The bud cauliflower
Trackback 由 bud cauliflower — 二月 5, 2007 @ 9:25 pm
contac myspace table
SomegifttoME 443355 Good information about contac myspace table.
Trackback 由 contac myspace table — 二月 6, 2007 @ 1:51 am
yahoo en espanol
SomegifttoME 443355 Relevant links for yahoo en espanol.
Trackback 由 yahoo en espanol — 二月 6, 2007 @ 6:10 am
bobs furniture
SomegifttoME 443355 Good information about bobs furniture.
Trackback 由 bobs furniture — 二月 6, 2007 @ 10:27 am
new life fellowship church
homepage of new life fellowship church
Trackback 由 new life fellowship church — 二月 16, 2007 @ 2:04 pm
family camping tent
The best of family camping tent.
Trackback 由 family camping tent — 二月 17, 2007 @ 5:37 am
2004 infiniti fx
2004 infiniti fx start page
Trackback 由 2004 infiniti fx — 二月 17, 2007 @ 8:57 pm
man ponytail
man ponytail company
Trackback 由 man ponytail — 二月 18, 2007 @ 11:45 am
drug testing pass
Features of drug testing pass.
Trackback 由 drug testing pass — 二月 19, 2007 @ 2:42 am
east german shepherds
east german shepherds info
Trackback 由 east german shepherds — 二月 19, 2007 @ 6:05 pm
against divided house itself
Aggregator of against divided house itself sites
Trackback 由 against divided house itself — 二月 23, 2007 @ 1:44 am
bulging in man underwear
Eye of bulging in man underwear
Trackback 由 bulging in man underwear — 二月 23, 2007 @ 3:26 pm
drawn or picture
drawn or picture company
Trackback 由 drawn or picture — 二月 24, 2007 @ 6:09 am