百度和Google的搜索算法、技术有何差异?

大标 2022年9月16日13:44:15网络推广评论0阅读模式

网民问:百度和谷歌的搜索技术是否具有同等的重要性?

以下是网友布丁的回答:

让我首先回答:百度在搜索相关的基础技术方面与谷歌仍有很大差距,但今天是否仍存在巨大差距值得怀疑。

首先,让我们谈谈一个不相关的领域。苏联在20世纪60年代装备了米格-25拦截机,这是世界上第一架能够飞行两倍或三倍(音速三倍,升力30000米)的战斗机。西方世界对这一异常的性能参数感到惊讶,并得出结论,苏联在航空技术方面完全超过了西方。直到贝伦科驾驶米格-25叛逃到西方,他们才最终有机会接触到真正的飞机,他们才发现其使用的技术并不那么先进。异常性能指标均建立在普通技术的基础上。这架飞机非常笨拙,被称为“线性战斗机"。如果这台糟糕的发动机真的以三倍音速飞行并着陆,它将不得不报废。苏联的航空技术并不像他们想象的那么糟糕。

2009年,当我在百度的时候,当我面对谷歌的公开技术数据和百度的内部系统时,我想到的第一件事就是米格-25。就像这架战斗机一样,百度当时在中国搜索结果质量的各个指标上仍然比谷歌有优势。百度的工程师非常聪明和勤奋,他们在某些方面做了非常出色的工作。然而,百度在搜索相关的基础技术方面仍然落后。百度搜索质量的提高在很大程度上取决于人工和细致的战略调整。

用普通技术飞到双三级本身就是一项伟大的工程成就。任何下一代战斗机,无论是苏联的苏-27、美国的F-15,甚至是第四代的F-22,都不能飞行两倍或三倍,但这些下一代战机在技术水平和整体性能上无疑远远优于米格-25,这应该是主题提到的幅度差异。技术的幅度差异不能通过具体的指标或孤立的案例来评估(米格-25也击落了f/a-18),也不能仅仅比较某些技术点的优缺点,这通常由基本技术水平决定。

2009年,我可以肯定地说,百度与搜索相关的基础技术与谷歌存在巨大差距。据我所知,百度近年来在基础技术方面取得了快速进步。当然,谷歌也在快速发展。我不确定它们今天的大小是否不同。

以下是一些重要的基础技术,包含大量公共信息:

大规模集群建设和管理。关于谷歌的情况,请参考《数据中心作为计算机:仓库规模机器设计简介》,第二版。谷歌拥有世界上最大的计算机集群,在机器数量上可以超越所有其他公司。同时,它拥有一套完整的自动化管理软件,让工程师可以申请和使用这些硬件资源(大致理解为一套亚马逊EC2)。据我所知,百度在便利性和可使用的硬件资源数量方面仍远远落后于普通工程师。

大规模计算和存储。谷歌、GFS、MapReduce和BigTable的三篇论文将不再重复。近年来,谷歌在这些领域的研发和进步并没有停滞甚至加速。当然,百度也在努力追赶。百度不仅使用了Hadoop,还在Hadoop的基础上做了很多改进和扩展,为Hadoop开源社区做出了贡献。百度在SSD存储技术方面也有很多经验,比如最近的asplos&#8217闪存;14 SDF:用于网络规模互联网存储系统的软件定义闪存。

机器学习和人工智能。深度学习、谷歌大脑等,在相对较新的深度学习领域,百度追赶更快,水平更近。

集群管理的技术水平决定了您可以拥有和有效使用多少硬件资源,而大规模计算和存储决定了您在这些硬件上可以做多少大规模的事情。最后,搜索引擎本身是一个大型机器学习系统。

除了纯技术之外,我想提及一个对技术进步有很大影响的因素,至少

我认为,在技术有限的情况下,人工微调和优化是合适的产品理念,但这种产品理念会与技术发展路线互动。对于1000个具有长尾和头部的热门词,完全有可能通过人工编辑取得非常好的效果,但要在短期内改善通用机器模型以达到人工编辑的效果几乎是不可能的。此时,人工调整可能会受到鼓励,通用模型的技术改进可能没有得到足够的重视——尽管即使以中国的人工成本也不可能手动调整所有搜索结果,但处理长尾巴是好的,不是吗?谷歌的主流技术理念是,它根本不相信人工调整,它必须为一切创建一个自动、通用和可扩展的模型。这个想法可能不会比一开始1000个热门词的勤奋和接地气的编辑更好,但通过积累数据来调整模型,随着时间的推移,整体结果质量将显著提高-这就是我如何看待2009年谷歌搜索质量给我们带来的压力。这个想法可能不适用于具体的产品操作。不是每个人都有谷歌的资源来花时间在一般技术上,但谷歌确实用这项技术粉碎了一切(错了吗?)我在路上走得越来越快。

注:布丁曾是百度员工,现在是谷歌员工。他们在两家公司所做的不是搜索相关项目。

weinxin
我的微信
微信扫一扫
大标
  • 本文由 发表于 2022年9月16日13:44:15
  • 转载请务必保留本文链接:https://www.tanhuibiao.com/3665.html
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: