当前位置：网站首页 » 热点 » 内容详情

双塔模型最新视觉报道_双塔模型 bert(2024年12月全程跟踪)

内容来源：莱茵河北极图库所属栏目：热点更新日期：2024-12-03

双塔模型

推荐系统指标提升指南：五大策略详解推荐系统的核心指标包括日活跃用户、月活跃用户和用户留存率。为了提升这些核心指标，我们可以从以下五个方面入手：召回模型优化 𐟚€ 改进双塔模型：优化正负样本选取策略，采用更先进的神经网络架构，利用更合理的训练策略。优化物品相似度类召回：充分利用不同基于物品相似度的召回模型，调整不同召回通道配额，或者采取更为可靠的物品相似度计算方式。添加额外的召回通道：充分利用不同召回模型。粗排与精排模型改进 𐟓ˆ 改进粗排模型：优化粗排模型的算法，提高召回效率。精排模型优化：通过优化精排模型的参数和结构，提升推荐准确性。增加结果多样性 𐟎芥œ覎訍结果中增加多样性，满足不同用户的需求。针对不同活跃度的用户制定不同策略 𐟌Ÿ 提出更好的方法来对待不同活跃度的人群，例如为高活跃用户提供更多个性化推荐。充分利用用户与物品交互功能 𐟔— 通过分析用户与物品的交互数据，优化推荐算法，提升用户满意度。通过以上五个方面的改进，可以有效提升推荐系统的核心指标，包括日活用户、月活用户和用户留存率。

百度推荐系统揭秘：从入门到精通 𐟓š 推荐系统入门指南百度的推荐系统是基于深度学习的工业级推荐系统，涵盖了从理论到实践的全方位知识。本书基于TensorFlow2框架，详细介绍了如何训练推荐模型，以及如何实现高性能、高并发、高可用的Golang推理微服务。 𐟔 推荐系统理论推荐系统的链路：从用户行为到推荐结果的全过程。 AB测试：如何基于不同召回和排序模型进行对比测试。 𐟔 召回与排序召回模型：基于物品和用户的协同过滤，以及双塔模型等。排序模型：多目标排序模型、预估分数融合、视频播放建模等。特征交叉：因子分解机、深度交叉网络、LHUC网络结构等。行为序列：用户行为序列建模、DIN模型、SIM模型等。重排：物品相似性度量、提升多样性的方法，如MMR多样性算法。 𐟔 冷启动与涨指标冷启动：优化目标、评价指标、简单的召回通道、聚类召回、Look-Alike召回等。涨指标的方法：改进召回和排序模型、提升多样性、特殊对待新用户等。 𐟔 模型推理服务基于Golang的高性能、高并发、高可用的推荐系统推理微服务，包括多种召回/排序服务，并提供多种接口访问方式（REST、gRPC和Dubbo）。 𐟓Š 评价指标核心指标：日活用户数(DAU)、留存率、用户使用时长、总阅读数等。非核心指标：点击率、交互率等。对于UGC平台，发布量和发布渗透率也是核心指标。通过这些内容，你可以全面了解百度的推荐系统，掌握从理论到实践的关键技术，提升自己的推荐系统开发能力。

如何打造高效的推荐系统召回策略？ 𐟌Ÿ召回阶段的目标：快速而全面地从海量内容中筛选出用户偏好的内容，同时兼顾相关性和多样性。 𐟎累쥛ž通道设计：根据用户和场景匹配不同的召回通道，并分配不同的quota数量。 𐟔典型的召回通道： CB召回（Content-Based）：基于用户消费偏好内容的标签、类目和题材，召回多个类别、标签或主题下的内容。协同过滤（Collaborative Filtering）：包括基于物品的协同过滤（ICF）和基于用户的协同过滤（UCF）。双塔模型（Twin Towers Model）：用户塔和商品塔通过embedding表征用户特征和内容，计算向量间的余弦相似度。 P2G召回（Person-to-Group）：将用户分组，计算群体用户的偏好内容，给个体推荐该群体普遍喜欢的内容。 LBS召回（Location-Based Services）：通过获取用户经纬度，召回附近发布的内容，重视时效性。 𐟔CB召回：需要建设标签、类目和题材的倒排索引。进阶多term匹配：用户多偏好标签与内容全量标签做word2vec后进行匹配召回。 𐟔协同过滤： ICF基于物品的协同过滤：计算物品之间的相似度，喜欢A的一群人同时喜欢B，认为A和B相关，群体越大，A和B的相关性越强。 UCF基于用户的协同过滤：通过用户消费内容的重合度计算userA-userB的相似度，若A-B相似，给A推荐B消费的内容。基于模型的协同过滤：典型的是图随机游走模型，如Graph ICF。 𐟔双塔模型：最早应用在搜索query和doc相关性的训练中，发展到推荐系统计算用户与内容的相似度。用户塔通过embedding的形式表征和学习用户特征，商品塔通过embedding的形式表征和学习内容，计算向量间的余弦相似度。特点：泛化能力强，新用户类型效果明显。 𐟔P2G召回：将用户分组，计算群体用户的偏好内容，给个体推荐该群体普遍喜欢的内容。分群特征一般包括：性别、年龄、学历等；比如计算30-40岁男性高后验的内容，给35岁男性新用户推荐。 𐟔LBS召回：通过获取用户经纬度，召回附近发布的内容，该内容重视时效性，比如在工位坐着，是打开APP才发现园区附近下雨。 𐟑‰以上就是推荐系统主流的召回方式，之外会存在大量的业务规则召回，如热点干预、新品扶持等。召回通道在数量上百路以上，但几乎都是根据上述的召回结合业务特点衍生出来的。下期介绍推荐系统中的排序模块。

阳泉博物馆：小而精的宝藏之地探索阳泉，首站便是博物馆。下午时分，我们从阳泉东站直接打车前往。司机惊讶地问道：“阳泉还有博物馆？”我们回答：“是的。” 阳泉博物馆与图书馆共享一栋建筑。进入大门后，左右两侧分别通往博物馆和图书馆。无需预约，前台提供行李寄存服务，非常便捷。博物馆的第一个展厅是古代史馆，分为四个主题：史前、东周、秦汉，以及“宋启人文”（涵盖宋元明清四个朝代）。虽然当地历史并不显赫，但林里关王庙大殿的模型令人印象深刻。紧接着是阳泉近现代史馆，即革命史展区。两段通史馆参观完后，我们以为已经结束了阳泉博物馆之旅。然而，拐角处又出现了另一个展厅。这里有三个专题展：《阳泉古代佛教造像艺术展》、《阳泉宋金元生活展》和《平定砂器专题展》。藏品丰富，布展精良，佛像展中还展示了天宁寺双塔的模型。博物馆的负一楼还有一个临时展览《晋地宝藏——自然资源标本科普展》，由阳泉博物馆与山西自然博物馆共同举办，值得一看。出口处设有文创商店，虽然展品不多，但设计缺乏新意，购买欲望不大。总的来说，阳泉博物馆虽小，但五脏俱全，专题多样且布展用心。用“小而精”来形容再恰当不过了。

京东人工智能研究院副院长何晓冬博士发朋友圈表示：“虽然没有诺贝尔半夜来电那么戏剧性，但看到11年前发表的DSSM获得了ACM CIKM时间检验奖的邮件时还是颇感意外。这个深度神经网络的双塔模型在2013年发表时还有些波折，但由于其兼顾性能和效率，10余年来在搜索广告推荐产业全面开花，各种应用已成为各大厂标配。——— 此外DSSM也是最早训练phrase/sentence embedding 的深度学习模型之一，发展到如今的大模型，可见AI 是个长程接力赛，全球的同行都在其中，不断创造技术突破和实践应用。 PS. 翻到我10年前一个朋友圈，那时刚启动了一个“大规模”DSSM训练： “一台机器，一万个内核，一百亿文字，读书开始…”

无文本语音模型：让对话更自然流畅 𐟎™️ 最近有一篇NLP论文特别火，叫做《Spoken Language Modeling》。论文里提出了一种叫dGSLM的模型，直接用原始音频作为训练数据。这个模型基于cross attention和transformer的双塔结构，训练了整整2000小时！这个模型最牛的地方在于，它不需要文本就能生成非常流畅自然的语音。你可能会问，没有文本怎么生成语音呢？其实，这个模型通过捕捉音频中的非语言信息，比如笑声、语调等，来生成更加自然的对话。这样一来，生成的语音不仅听起来更自然，还能更好地模拟人类对话的时间和逻辑信号。不过，这个模型在语义连贯性上还有待提高。虽然它生成的语音非常流畅，但在表达复杂语义时还是有点力不从心。未来，研究者们可以考虑将这个模型和文本LM结合起来，或者扩大词表，以获得更加自然和有意义的对话系统。总的来说，这篇论文为我们提供了一个全新的视角，让我们看到了无文本语音模型的巨大潜力。未来的发展方向也非常值得期待！

没别墅？慎买GK模型！今天终于收到了去年12月初下单的海运，心情特别激动。因为我的猎户双塔终于到了！这可是《五星物语》里最具压倒性优势的存在，也是目前为止最大尺寸的1/100 GK模型。不过，我得提醒大家，如果你家不是大别墅，还是慎重考虑一下吧。这次入手的是CC家的件，优缺点都非常明显。先说说优点吧：预处理和预组装做得很好，不需要再剪件和处理废料，水口也修得不错。预组装和打桩节省了很多工作量，是所有同类双塔GK件里最容易制作的。件的质量也不错，细节刻画清晰，树脂件的韧性很好，对于这种大体积的GK来说，增加了一点安全感。炮管是铝合金CNC件，很直，也比纯树脂的轻很多。再说说缺点：预组装虽然方便，但也带来了一些问题。厂家把很多螺丝位直接暴露在外，影响了美观度。我肯定会在后期制作中尽量填平裸露的螺丝再上色，完全无法接受螺丝和金属桩裸露的情况。而且没有说明书，组装全部靠灵感。总的来说，这款模型虽然大，但制作起来并不复杂，只是需要一些额外的准备工作。如果你有足够的空间和耐心，还是可以尝试的。

深度学习刷SOTA的15个实用技巧 1. 𐟔„ R-Drop：通过两次前向传播和KL散度损失约束，提升模型性能。 𐟓š MLM：在领域语料上使用MLM进行后训练，进一步预训练模型。 𐟔„ EFL：在少样本情况下，将分类问题转化为匹配问题，输入构造为NSP任务形式。 𐟒𞠦𗷥ˆ精度fp16：加快训练速度，提高训练精度。 𐟏Ž️ 多卡ddp训练：使用梯度累积时，采用no_sync减少不必要的梯度同步，加快速度。 𐟌 多卡inference：对于验证集或测试集特别大的情况，尝试多卡推理，使用dist.all_gather。 𐟔„ PET：在少样本情况下，将分类问题转化为mask位置预测，并构造verbalizer。 𐟌 ArcFaceLoss：双塔句子匹配损失改为arccos形式，提升性能。 𐟓ˆ 数据增强：在zero shot x-lingual transfer中，使用code switch和机器翻译，并加入一致性损失。 𐟔„ SimCSE：在领域语料上继续进行SimCSE预训练。 𐟔„ Focal loss：处理不平衡数据。 𐟔„ 双塔迟交互：使用maxsim操作，计算query和doc的每个token表征的相似度，取最大相似度再求和。 𐟔„ 持续学习减轻遗忘：使用EWC方法，结合一个强大的预训练模型，减少重要参数的遗忘。 𐟔„ 对抗训练：使用FGM和PGD进行对抗训练，虽然训练速度较慢，但能提升性能。 𐟓ˆ Memory bank：增大batch size，有时效果显著。 𐟔„ PolyLoss：使用-logpt + eps * (1-pt)，效果存疑，有人试过效果不错。这些技巧可以帮助你在深度学习中取得更好的性能，赶紧试试吧！

从ID到LLM：推荐系统的可迁移之路 𐟚€ 推荐系统的发展可以分为几个阶段。最初，基于ID的可迁移推荐系统占据了主导地位。这个阶段的推荐系统主要依靠ID来实现，并且需要在不同的场景之间有数据重叠，例如，大公司里存在多个业务场景，通过老的业务引流新的业务。早期的经典架构包括双塔架构、CTR模型、会话和序列推荐以及Graph网络。这些模型无一例外地采用ID embedding来对物品进行建模，形成了基于ID特征的建模体系。在这个阶段，PeterRec（SIGIR2020）、Conure（SIGIR2021）和CLUE（ICDM2021）等早期工作取得了显著成果。 PeterRec是推荐系统领域首篇明确提出基于自监督预训练（自回归与Mask语言模型）的用户表征具备通用性的论文。它清晰地展示了预训练的通用表征在跨域推荐和用户画像预测中的显著提升。PeterRec还引入了基于Adapter的技术，通过微调模型补丁实现不同任务的有效迁移学习。 Conure则是推荐系统领域首个提出用户通用表征的终生学习（lifelong learning）模型。它首次提出一个模型连续学习和同时服务多个不同的下游任务。Conure提出的“一人一世界”概念启发了当下推荐系统one4all模型的研究。 CLUE则认为，PeterRec与Conure算法在学习用户表征时，采用自回归或者mask机制都是基于物品粒度的预测，而最优的用户表征显然应该是对完整的用户序列进行建模和训练。因此，CLUE结合对比学习，获得了更优的结果。随着技术的发展，推荐系统逐渐从基于ID的可迁移系统发展到基于LLM（Learning to Learn Model）的可迁移系统。这一阶段的推荐系统不再局限于特定的ID，而是通过学习用户的行为和偏好，实现更广泛的迁移学习。

MEVI：新方案，高召回速检索 𐟎‰ 备受瞩目的NeurIPS 2023大会上，微软亚洲研究院带来了多篇精彩的论文，其中一篇特别引人注目。 𐟓„ 论文链接： 𐟔 传统的文档检索方法大致分为三种：基于词语、嵌入和生成。基于词语的方法虽然能构建倒排索引，但无法充分利用语义信息。基于嵌入的方法通过双塔架构将查询和文档编码为嵌入向量，然后使用近似最近邻（ANN）搜索，但优化目标分为两个阶段，且ANN和最近邻的召回性能存在差距。基于生成的方法采用序列到序列模型，直接输入查询并输出文档标识符，在小语料库上表现优异，但由于高延迟难以扩展到大语料库，且语料库不可变。 𐟒ᠤ𘺤𚆨磥†𓨿™些问题，微软亚洲研究院的研究员们提出了模型增强向量索引MEVI，兼具高召回率和较快检索速度。他们构建了残差量化（RQ）码本对文档进行聚类，RQ码本保留了文档簇的层次结构，适合自回归生成。此外，还构建了序列到序列模型。输入查询后，序列到序列模型可以根据RQ码本直接生成虚拟集群标识符，然后用ANN在虚拟集群中搜索相关文档。 𐟔砥œ訮�ƒ过程中，研究员们使用经过数据增强的查询-文档对进行模型训练；推理过程中，则使用波束搜索根据RQ码本检索top-K个集群，并在集群中用ANN搜索查询嵌入。MEVI的设计解决了传统方法的局限性：RQ码本大小适中，使自回归解码器延迟较低；同时，新文档也可以插入到对应集群中。为了进一步增强召回性能，研究员们还将生成的文档集群和基于嵌入方法得到的文档进行了集成，同时发挥二者的优势。 𐟓Š 在实验中，研究员们选取了AR2和T5-ANCE模型作为基于嵌入的方法。实验结果表明，MEVI显著提高了召回率，在MSMARCO Passage数据集上实现了+3.62%的MRR@10、+7.32%的R@50、+10.54%的R@1000，在Natural Questions数据集上实现了+5.04%的R@5、+5.46%的R@20、+5.96%的R@100。

专栏内容推荐

2534 x 2397 · png
SOAP or REST APIs的区别
素材来自:ppmy.cn
1080 x 780 · jpeg
SENet双塔模型实现 - 知乎
素材来自:zhuanlan.zhihu.com

926 x 543 · png
2019 最新论文：Youtube 双塔召回模型 - 知乎
素材来自:zhuanlan.zhihu.com
1000 x 872 · gif
基于双塔结构模型的文本匹配方法及装置
素材来自:xjishu.com

820 x 420 · png
双塔模型的最强出装，谷歌又开始玩起“老古董”了？ - 智源社区
素材来自:hub.baai.ac.cn

535 x 478 · jpeg
DSSM双塔模型 - 知乎
素材来自:zhuanlan.zhihu.com
1080 x 1321 · png
涨点利器：推荐系统中对双塔模型的各种改造升级 - 智源社区
素材来自:hub.baai.ac.cn

1656 x 816 · png
【多模态】MoE解决多模态单双塔问题 VLMo: Unifified Vision-Language Pre-Training with Mixture-of-Modality-Experts ...
素材来自:blog.csdn.net

600 x 350 · jpeg
双塔模型 - 知乎
素材来自:zhuanlan.zhihu.com
720 x 336 · png
涨点利器：推荐系统中对双塔模型的各种改造升级 - 智源社区
素材来自:hub.baai.ac.cn

900 x 382 · jpeg
如何改进双塔模型，才能更好的提升你的算法效果？ - 知乎
素材来自:zhuanlan.zhihu.com

554 x 381 · png
双塔模型DSSM及各种变体塔-CSDN博客
素材来自:blog.csdn.net
554 x 443 · png
双塔模型DSSM及各种变体塔-CSDN博客
素材来自:blog.csdn.net

1890 x 945 · png
大厂技术实现 | 腾讯信息流推荐排序中的并联双塔CTR结构 @推荐与计算广告系列
素材来自:showmeai.tech

600 x 335 · jpeg
09 召回06：双塔模型 - 知乎
素材来自:zhuanlan.zhihu.com

354 x 249 · jpeg
双塔模型：电影推荐项目实战 - 知乎
素材来自:zhuanlan.zhihu.com
2694 x 916 · jpeg
如何增强双塔模型效果？ - 知乎
素材来自:zhuanlan.zhihu.com

667 x 564 · jpeg
现代双塔造型商务中心建筑设计su模型[原创]
素材来自:ddove.com
540 x 540 · png
双塔模型Solidworks格式
素材来自:cad2688.com

720 x 320 · png
推荐系统-双塔模型基本原理与实践 - 知乎
素材来自:zhuanlan.zhihu.com

1800 x 1350 · jpeg
现代高层双塔式综合办公楼3dmax 模型下载-光辉城市
素材来自:sheencity.com
1125 x 1800 · jpeg
双塔式商业办公楼3dmax 模型下载-光辉城市
素材来自:sheencity.com

620 x 560 · png
深度盘点：基于双塔结构的推荐模型总结_多塔结构计算模型有哪些-CSDN博客
素材来自:blog.csdn.net
600 x 317 ·
广告行业中那些趣事系列10：推荐系统中不得不说的DSSM双塔模型 - 知乎
素材来自:zhuanlan.zhihu.com

1080 x 604 · jpeg
涨点利器：推荐系统中对双塔模型的各种改造升级（上）-CSDN博客
素材来自:blog.csdn.net

1500 x 1667 · jpeg
现代高层双塔式办公楼3dmax 模型下载-光辉城市
素材来自:sheencity.com
600 x 183 · png
如何改进双塔模型，才能更好的提升你的算法效果？ - 知乎
素材来自:zhuanlan.zhihu.com

1768 x 1060 · jpeg
12 召回08：双塔模型+自监督学习 - 知乎
素材来自:zhuanlan.zhihu.com
752 x 476 · png
推荐算法 - 推荐系统中不得不说的DSSM双塔模型 - OPPO数智技术 - SegmentFault 思否
素材来自:segmentfault.com

1900 x 1002 · jpeg
09 召回06：双塔模型 - 知乎
素材来自:zhuanlan.zhihu.com

600 x 528 · png
如何改进双塔模型，才能更好的提升你的算法效果？ - 知乎
素材来自:zhuanlan.zhihu.com
1392 x 845 · png
一文看懂推荐系统：召回08：双塔模型——线上服务需要离线存物品向量、模型更新分为全量更新和增量更新 – 源码巴士
素材来自:code84.com

1080 x 500 · jpeg
推荐系统(十八) 大厂实践经验学习：双塔模型 - 知乎
素材来自:zhuanlan.zhihu.com

1382 x 724 · png
双塔召回模型的前世今生-CSDN博客
素材来自:blog.csdn.net

1890 x 945 · png
大厂技术实现 | 腾讯信息流推荐排序中的并联双塔CTR结构 @推荐与计算广告系列-腾讯云开发者社区-腾讯云
素材来自:cloud.tencent.com

素材来自:查看更多內容

当前用户设备UA：Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)