“当然可以,你拿去看吧,有什么意见尽管跟我说。”李卫脸上挂着温和的笑容,语气客气地说道。
秦奕接过论文,迫不及待地开始快速浏览其中的关键论述——这篇论文主要阐述了并行程序中并行、汇聚、通讯、映射及归纳等机制的语义。
看着看着,他的眼中闪过一丝惊喜,这里面描述的不正是前世互联网大数据处理框架MAPREDUCE里的基本操作吗!
前世,搜索引擎巨头谷歌在2004年前后发布了三篇奠定大数据处理基础的论文——《TheGoogleFileSystem》《MapReduce:SimplifiedDataProcessingonLargeClusters》《Bigtable:ADistributedStorageSystemforStructuredData》。
这三篇论文为大数据处理领域带来了全新的思路和方法,宛如一把火,瞬间点燃了学术界和工业界对大规模数据处理技术的研究热情,也有力推动了Hadoop等开源项目的发展。
这些项目在之后的十几年里迅速成为了大数据基础设施,对整个大数据、云计算甚至是后来的人工智能行业都产生了深远影响。
其中,《MapReduce》这篇论文里使用的核心操作Map和Reduce,与李卫这篇论文中的映射和归纳两个机制,本质上如出一辙。
秦奕不禁思索,原来早在这个时候,相关的核心操作就已经在并行程序领域得到应用了吗?
或许当时撰写那三篇论文的谷歌程序员正是从这些并行程序的论文中获得了灵感。
当然,《MapReduce》论文不只是应用了这两个关键操作,它还围绕这两个核心操作,精心设计了一套完整的系统架构和实现机制,涵盖数据划分、任务调度、容错处理、数据代码互定位等功能,确保在大规模集群上能够稳定、高效地运行。
秦奕接着又仔细看了看李卫论文里的具体实验内容,是关于Ada语言在一些单机程序中的处理。
“李卫同志,我有个疑惑。”他抬起头,目光看向李卫。
“说吧。”李卫挑了挑眉,他刚才让对方提意见不过是句客气话,没想到这个秦奕还真敢有想法。
“你这里的并行程序,似乎只涉及单台计算机的多处理器并行,没有涉及多台计算机的并行处理。”秦奕认真地说道。
“多台计算机的并行处理?”李卫低声重复着这个词,随后笑道,“这需要用到计算机网络了,是吧?”
秦奕连忙点头,回答道:“对的。”
“我理解单台计算机虽然具备低延迟通信、易于管理和调度以及数据一致性维护简单等优势,但是它的处理器数量和内存容量等硬件资源有限。”
“一旦并行任务规模持续扩大,很快就会遭遇资源瓶颈,难以满足大规模计算需求。如果想要进一步提升其性能,往往需要采用高端的多核处理器、大容量高速内存等硬件设备,硬件成本高昂,且能耗也相对较高。”
“如果借助计算机网络来实现程序的并行,那就可以通过增加计算机的数量,轻松扩展计算能力,理论上能够满足任意大规模的计算需求。”
李卫听后,笑着反驳:“你可别把计算机网络说得太神了。计算机网络通信开销还是很大的,和单机通信比起来,延迟成百上千倍,对于一些对通信实时性要求极高的任务,这可是无法接受的。”
秦奕自然不会轻易放弃,他耐心解释道:“您说得很有道理,这确实不适用于对实时性要求高的任务。”
“但我觉得,在大多数情况下,程序对实时性的要求并没有那么严苛。而且,随着赵老那边对光纤传输介质的研究不断深入,网络的延迟会越来越低,网络并行的适用性也会越来越广。”
“很有想法啊!”李卫赞许地说道,“你现在是研究生还是本科生?有没有兴趣来我们京航大学继续进修?来我这里读博士,我可以专门为你开设你说的这个研究课题。”
“啊,不了不了。”秦奕连忙摆手,“我只是提出一些粗浅的想法,我觉得自己还是更适合在产业界继续深耕发展。”
“哈哈哈,你就是想光靠动动嘴搞科研,是吧。”李卫半开玩笑地说道,“科研可不是有一个想法就可以的,还需要有大量的实验佐证的。”
“那倒不是。我真心觉得,随着计算机网络的逐渐流行,我们很快就会面临需要处理海量数据的情况。到时候,如果科研界能提供一些指导,我们产业发展也能走得更顺畅,说不定还能在海量数据这上面走在前头。”秦奕认真地解释道。
不过他心里也清楚,现在距离处理海量数据还有很长的路要走。
前世从1994年万维网联通世界,到2004年大数据概念的提出,中间还历经了十年的发展,而如今,万维网的雏形都还未出现。
“那我就期待一下你说的计算机网络的流行了!”李卫笑着说,“到时候,要是你这个产业界人士真遇到海量数据处理的问题,也可以来找我们合作,哈哈。”
秦奕又和李卫闲聊了几句关于全球即将通过计算机网络互联的话题,便离开了标准化协会,前往海淀区找董德绍他们。
“啊!为什么这个程序运行结果是4!”
秦奕刚一进门,就听到了董德绍绝望的哀嚎。
李勇军满脸困惑地看着他:“我刚才就给你解释过这个程序的整体运行逻辑了,至于你为什么就是弄不明白,我也实在搞不懂。”
周瑾龙在一旁劝道:“小董,你就别挣扎了,数学学霸的世界你不懂,编程这种东西,我这种上过大学的都放弃了,更何况你这种大学都没考上的。”
喜欢科技革命,从1984开始请大家收藏:()科技革命,从1984开始
请勿开启浏览器阅读模式,否则将导致章节内容缺失及无法阅读下一章。
相邻推荐:[综漫] 疯批富江在线追我 [综武侠] 移花宫主 甜妹在哨向世界苟成万人迷 [综漫] 盲眼侦探饲养守则 [西游同人] 哪吒的灵宠不好当 [综漫] 被最强攻略失败后 [综漫] 我的病娇女友 逼我和亲?二嫁权臣后全家悔断肠 你惹她干嘛?她一张符纸取你狗命 [综漫] 养五条咪后有了最强老公 我最强不死兽,被剑骑学姐倒追 暖冬劫 夜潮花夕 无敌县令:我富可敌国你让我给皇帝做牛马? 1977,重回和堂弟换亲前 [柯南同人] 高明今天告白了吗 重生七零:冷面首长娇宠小辣妻 丰都来了一个姑娘 [咒回同人] 五条君的一见钟情 倒霉的我成为野怪后却十分幸运
好书推荐:桃运无双,洛雷神秘帝少甜宠妻和表姐同居的日子最佳女配(娱乐圈冯征秦始皇嬴政撩妹小神医妙手小村医吻安,首长大人超品邪医报告首长,萌妻入侵睡吧,国民夫人离婚三十天重生世家子我的老婆是冠军校园极品公子山村名医当沙雕攻拿到虐文剧本我的相公风华绝代极品媳妇农女不修仙我家皇后又作妖美人如玉都市弃少归来,依旧怪医圣手叶皓轩,一念都市超级赘婿八零娇女有空间神话之后仙工开物,蛊真人龙藏恒星时刻据说秦始皇是个女儿控来着中年男人请遵守游戏规则世上还有这种好事儿娘子,我道心乱了我被初恋退婚之后大明虎贲农家小娘子总裁情深入骨我行走江湖那些年混在后宫的假太监那夜上错床凶兽档案蚀骨危情带着妹子去修仙醉卧美人乡抱上空姐的大腿都市之纵意花丛末世之重生御女逆命相师老子是无赖都市极品人生高武我的气血无限多十年磨砺,归来已无敌修仙 一代神帝横空出世网游我在全民战争霸气开挂这个歌神眼神不好使瞎子开局逆风翻盘,抱得校花归傲世骄龙世界房产巨头将门弃妇又震慑边关了汉末无衣神话之后开局签到荒古圣体公寓里的精灵训练家盗墓,开棺挖到一只两千年粽子我们都是九零后心花路放别搞,我是人,魔尊是啥玩意儿他的金丝雀又娇又软渣夫软饭硬吃,那就送他去归西我本无意成仙我和女神合租的日子小师弟,求你从了师姐吧超品风水相师最废皇太子空间重生之商门影后穿成前夫的家养狗重生之纯真年代凡人神算整座大山都是我的猎场极品兵王俏总裁乡村傻医仙的秘密乡村神医村长九千岁,女帝她又纳妃了跪在妻女墓前忏悔,我重生了屌丝小保安,遇见女鬼逆袭了寡妇也是潜力股我要成为天下无敌假太监:攻略皇后的我如鱼得水穿越为摄政王,女帝视我心头刺汉服小姐姐直播被大熊猫赖上娘亲,离开这家,我带你吃香喝辣小姐,姑爷他又要造反啦凡三的财富蛙跳外戚好凶猛我的女皇上司最强俏村姑这个农民有点虎多子多福,从拿捏九幽女帝开始重生许仙当儒圣古玩捡漏从离婚后开始绝世废材:毒后归来偷偷藏不住楚家有女初修仙师父,抱小腿极品女仙他的小仙女大律师的惹火宝贝重生不当接盘侠,前世老婆她急了捡个魔神做师父万古第一废材我真不想当奸臣重生后我成了拼爹界杠把子我的姐姐是恶役千金大小姐一胎七宝:老婆大人哪里跑内科医生她真不是沙雕龙藏烟雨江南仙工开物神话之后鹅是老五剑走偏锋的大明大燕文学读吧小说网读一读小说网快眼看书啃书网爬书网权术小说网去读书书荒小说网再读读小说网书趣阁恒星时刻崇文中文网天籁小说小二中文文华摘云若月楚玄辰开局揭皇榜,皇后竟是我亲娘官途,搭上女领导之后千里宦途升迁之路官道征途:从跟老婆离婚开始权力巅峰:从城建办主任开始官梯险情相亲认错人,闪婚千亿女总裁书文小说不乖官路女人香学姐蓄意勾引深入浅出仙帝重生,我有一个紫云葫芦财阀小甜妻:老公,乖乖宠我空白在综艺直播里高潮不断重回2009,从不当舔狗开始透骨欢爱欲之潮直上青云深度补习上流社会共享女友镇龙棺,阎王命上瘾爱欲之潮假千金身世曝光,玄学大佬杀疯了臣服议事桌上官途:权力巅峰开局手搓歼10,被女儿开去航展曝光了关于我哥和我男朋友互换身体这件事村野流香闪婚夜,残疾老公站起来了师娘,你真美迟音