coffee198375 发表于 2026-2-27 10:54
华为做了很多本该是高校的基础研究工作。。。。
该芯片的核心优势包括：采用DL-ADC实现非Top-K计算的早期终止；基于预测的预取调度流水线（PPSP）数据流提升不规则工作负载的吞吐量；由粗到细的检索架构（coarse-to-fine）在保证系统召回精度的同时，可扩展至大规模应用。
一、引入CiR，实现高吞吐、高能效、高精度相似向量检索推荐系统中的核心运算单元是相似向量检索（SVS），该方式通过计算查询向量与大规模向量库之间的距离，检索出Top‑K最邻近向量。
SVS会占据推荐系统绝大部分的计算时间与功耗，主要原因是外部存储器访问（EMA）开销。其中，采用混合键合技术的DRAM加速器成本高昂，基于NAND TCAM的加速器存在读取延迟高、数据与距离表示精度有限等问题。
针对上述痛点，研究人员提出一种基于RRAM的数模混合存内计算加速器HYDAR，可实现高吞吐量、高能效、高精度的SVS。
基于RRAM的存内计算（Compute-in-RRAM，CiR）因能最大限度减少数据移动、存储密度高、并行度极大，已被公认为深度学习加速的极具前景的技术路线。但将CiR应用于SVS仍会带来额外挑战，如能耗与延迟急剧增加、降低PE利用率与吞吐量、精度降低等。
HYDAR通过CiR PE（存内计算处理单元）、混合芯片设计与多芯片系统架构协同优化，解决了上述挑战：
首先是带动态延迟ADC（DL‑ADC）的CiR PE，其通过多位模拟CiR PE集成DL‑ADC，用于基于直方图的相似向量检索，可提前将距离与检索阈值比较，并跳过非Top‑K向量，从而降低延迟与功耗。
其次是基于预测的抢占式调度流水线（PPSP），通过这种混合芯片机制，预测每个PE的运行时间、中断不平衡任务、插入短任务来平衡负载，以适应动态SVS工作流，提升利用率与吞吐量。
最后是两步由粗到精的检索架构，其软硬件协同设计框架，先在CiR PE上进行粗粒度检索以保证高吞吐量，再在数字SVS引擎上进行精粒度检索，在保证召回精度的同时最大化吞吐量。
在此基础上，基于HYDAR框架，研究人员采用28nm工艺流片实现了一款CiR原型芯片，包含36M RRAM单元，分为16个并行PE，每个PE包含一个288×4096阵列
二、采用基于DL‑ADC的SVS高效过滤机制，降低60%延时、71%功耗具体来看基于模拟存内计算单元（CiR PE）的直方图相似向量检索（SVS）实现，以及支持计算提前终止的DL‑ADC设计。
其通过查询向量与基础向量之间的距离分布直方图来确定Top‑K检索的截断阈值（CK）。在欧氏距离框架下，距离超过CK的基础向量由双模DL‑ADC过滤，该ADC可动态监测比较结果，实现非Top‑K向量的计算提前终止。
欧氏距离计算可在288×4096的CiR阵列上完成，其中每个2T2R单元表示一个4位维度，每一列代表一个256维基础向量及32维偏置。
本设计中，CiR PE在计算过程中将直方图存入本地直方图存储器，随后同步至跨PE直方图单元（CHU），合并分布式结果以生成CK。该论文设计了三条定制指令来执行该流程。
在DL‑ADC方面，基于逐次逼近寄存器（SAR）的结构支持提前终止模式（ET），将预生成的CK作为输入，与每个周期生成的SAR码一同送入按位比较器。
在迭代调整IDAC以逼近ADC输入电流的过程中，任何一位不匹配都表明计算结果与CK存在差异，触发提前终止，停止计算并输出2位向量掩码（vMask）。
最后，通过将DL‑ADC设置为ET模式，距离计算与过滤可同时执行。
该ET机制在数据库规模扩大时效果显著，平均减少60%的计算时间和71%的功耗，宏单元面积开销增加7%。
三、预测抢占式调度，利用率提升至91%、平均查询延迟降低30%其次是面向SVS负载提出的基于预测的抢占式调度流水线（PPSP）。
查询在不同PE间并行计算，而每个PE参与计算的基础向量数量通常不同，这会造成计算周期差异与PE间同步开销，进而引发调度停顿与流水线气泡。
PPSP采用连续抢占式调度与动态任务调度器（DTS）解决了这一问题。
DTS会对各PE上查询执行的完成时间戳进行监测与预测。该论文提出的抢占式调度机制允许新任务抢占那些即将完成的正在运行任务，这可以消除流水线气泡、让任务更早完成、PE更快释放，以服务后续查询。
在接收到指令时，任务会占用一个DTS槽位，并将其PE/段掩码存入任务表，然后作为子任务路由到目标PE的两个待处理缓冲区之一。
DTS同时监控每个任务的预测关键结束时间（PCET），其定义为所有子任务PET的最大值。其中的仲裁器检查PE与正在运行任务的重叠情况，如果新任务的PET可以降低且不影响正在运行任务的PCET，则切换待处理缓冲区以抢占式调度新任务，从而提升吞吐量、降低延迟。
此外，在查询调度期间，DTS会在后端内存分配器中为每个查询预分配地址空间，使得PE可以直接将结果写入输出缓冲区，无需PE间同步，从而实现PE快速释放以处理新查询。
通过以上优化，PPSP将PE利用率提升至91%，平均查询延迟降低30%，QPS吞吐量提升1.82倍。
四、由粗到细两步检索，实现系统级四级流水线并行最后是面向SVS、基于CiR的两步检索架构。
为提升系统精度，该架构集成了数字精检索引擎，在高吞吐粗检索结果中精确筛选向量。这使得即使在模拟CiR存在噪声与低精度处理的情况下，仍能保持高召回精度。
该架构还通过多CiR芯片并行扩展了向量库容量，并支持更广泛的并行粗检索，同时采用Thresh‑IVF流程与系统流水线，进一步提升吞吐量。
CiR PE分为三类：质心PE（CPE）存储聚类中心坐标，采样PE（SPE）存储从每个聚类中采样的少量向量，用于表征分布并生成CK；全量库PE（FPE）存储所有基础向量，并全程运行在高能效的DL‑ADC提前终止（ET）模式下，在整个流程中占据92.7%的向量存储。
CiR专用的Thresh‑IVF工作流程包括查询首先送入CPE，通过IT运算计算查询与聚类中心的距离，识别最近的聚类；系统将查询路由到所选聚类的SPE，通过IH在多芯片间生成直方图，进而生成CK；CK被路由到步骤1所确定聚类的所有FPE，通过IC完成粗检索ID生成。
这种系统级基于阈值的粗检索，最小化了每个芯片输出的过滤结果数量，避免了在各芯片上执行相同Top‑K计算带来的冗余ID过滤。最后，少量候选ID被送入数字引擎，以FP16格式进行精检索，使系统级存储带宽需求降低97.44%。
该设计实现了系统级四级流水线并行；同时芯片内不同PE也可并行处理不同任务。相较于传统基于CPU的IVF方案，这种多芯片层级流水线可将延迟降低90.17%。
结语：兼顾精度与效率，推荐系统算力成本骤降推荐系统在连接用户与海量内容和服务方面发挥着至关重要的作用，已广泛部署于电商和流媒体平台，但作为其核心运算单元相似向量检索占据了推荐系统绝大部分的计算时间和功耗。
其中采用混合键合技术的DRAM加速器提升了带宽以缓解EMA问题，但其成本高昂，且仍受限于DRAM与逻辑单元之间的数据传输瓶颈；基于NAND TCAM的加速器将计算集成到存储阵列中以减少EMA，但存在读取延迟高、数据和距离表示精度有限的问题。
基于此，这篇最新研究提出了一款高效的SVS加速器，能在保证高吞吐量检索的同时，不牺牲召回精度，进一步降低推荐系统的功耗。
coffee198375 发表于 2026-2-27 10:54
华为做了很多本该是高校的基础研究工作。。。。
客家人 发表于 2026-2-27 12:48
瞎搞，就像菊司提出三进制，二进制都计算机都搞了七八十年了，搞三进制有啥意义，噱头……
Colombia.2005 发表于 2026-2-27 13:01
客家人又牛B了，做为通信专家， 创造 了4G5G锚点的专家，吹鼓ORAN，现在又瞎算内存贮
just10089 发表于 2026-2-27 16:37
我们又要赢了吗？
客家人 发表于 2026-2-27 12:48
瞎搞，就像菊司提出三进制，二进制都计算机都搞了七八十年了，搞三进制有啥意义，噱头……
just10089 发表于 2026-2-27 16:37
我们又要赢了吗？
oooooooo 发表于 2026-2-27 16:42
浆糊脑袋居然还在用“我们”这个词，什么时候换“你们”啊？期待你移民越南的好消息
oooooooo 发表于 2026-02-27 16:42:18浆糊脑袋居然还在用“我们”这个词，什么时候换“你们”啊？期待你移民越南的好消息
coffee198375 发表于 2026-03-01 01:55:39
coffee198375 发表于 2026-03-01 01:55:54
just10089 发表于 2026-3-1 10:08
越南十年内绝对成为发达国家，这话我说的，支持外国产品就是支持我们明天，这话也是我说的！
附件: screenshot_20260301_104405.png (2026-3-1 10:45, 44.02 KB) / 下载次数 0just10089 发表于 2026-3-1 10:09
我支持华为，我热爱华为，谁敢黑华为，我就咬谁？
Desla的马甲 发表于 2026-03-01 10:45:57
哈尔滨1256 发表于 2026-03-01 12:26:52
just10089 发表于 2026-3-1 10:08
越南十年内绝对成为发达国家，这话我说的，支持外国产品就是支持我们明天，这话也是我说的！
oooooooo 发表于 2026-03-02 09:32:04
just10089 发表于 2026-3-2 09:35
移民越南很丢人吗？人家15年义务教育，有工会，洗脑脑袋，现在越南不是你想移民就可以移民的，今日的越南 ...
oooooooo 发表于 2026-03-02 09:39:41
just10089 发表于 2026-3-2 09:41
洗脑脑袋首都，每天过着锦衣玉食，过着荣华富贵的生活，哪里看的上越南？
just10089 发表于 2026-3-1 22:17
多截图几张哦！
Desla的马甲 发表于 2026-03-02 11:08:40
just10089 发表于 2026-3-2 11:30
我说错了吗？没有外企进来投资，你今日能吃难么饱，在这里大放厥词，在这里嘲笑别人！
oooooooo 发表于 2026-03-02 11:32:53
just10089 发表于 2026-3-2 11:37
我回复谁，谁回复我，你当出头鸟？都说洗脑脑袋在首都过着锦衣玉食的生活，越南都看不上，既然你祝福我， ...
just10089 发表于 2026-3-2 11:30
我说错了吗？没有外企进来投资，你今日能吃难么饱，在这里大放厥词，在这里嘲笑别人！
oooooooo 发表于 2026-3-2 11:45
论坛不是你家的，我想回复谁回复谁，祝你全家早日移民越南
just10089 发表于 2026-3-2 11:37
我回复谁，谁回复我，你当出头鸟？都说洗脑脑袋在首都过着锦衣玉食的生活，越南都看不上，既然你祝福我， ...
oooooooo 发表于 2026-03-02 11:45:05
Desla的马甲 发表于 2026-03-02 11:52:46
flixyw 发表于 2026-03-02 11:58:47
just10089 发表于 2026-3-2 14:55
洗脑脑袋现在连越南也恨了！看不得别人好，就像某司的粉丝真心看不得苹果或者小米比他们了，天生嫉妒恨
oooooooo 发表于 2026-03-02 15:05:50
just10089 发表于 2026-3-2 14:55
洗脑脑袋现在连越南也恨了！看不得别人好，就像某司的粉丝真心看不得苹果或者小米比他们了，天生嫉妒恨
just10089 发表于 2026-3-2 17:20
是的，说酸话，坏话也没问题，嘴硬更是没问题！
oooooooo 发表于 2026-03-02 17:22:41
coffee198375 发表于 2026-03-02 17:21:31
just10089 发表于 2026-3-2 17:24
你我根本不认识，你为何要祝福，想看我笑话？我我说错了吗？你根本看不得越南发展得好！十年内越南成为发 ...
oooooooo 发表于 2026-03-02 17:32:17
just10089 发表于 2026-3-2 17:25
广西老表，身为老乡，帮我怒这个北京佬！哈哈
coffee198375 发表于 2026-03-02 22:34:04
| 通信人家园 (https://test.txrjy.com/) | Powered by C114 |