仅利用4片英伟达 GPU，搭配特制的SSD及软件，就能够用2至10万$的成原来实现原本200万$的AI模子微调运算能力。这可能吗？
犹记患上，于去年3月CFMSMemoryS上，群联电子履行长潘健成向业界先容aiDAPTIV+时，市道上AI年夜模子一体机还有没有像如今这般盛行。那时，千亿级参数模子的单次练习成本动则数万万人平易近币，巨额的练习成本已经经深切人心。其时，各人其实不信赖低成本方案能满意模子练习的需求，故而这种方案也未获得太多的市场回声。1GBesmc
1GBesmc
群联电子履行长潘健成1GBesmc
使人不测的是，2025年头DeepSeek-R1模子爆火，社会各界最先存眷起其暗地里的公司。DeepSeek公司经由过程DualPipe(一种立异双向流水线并行算法)、分层压缩引擎等算法改造及硬件协同优化，将模子练习的算力需求降低了46%-82%，模子推理算力耗损削减了97%，并鞭策单元算力效率晋升3倍以上。以是，于此基础上低成本方案就变患上切实可行，纵然是预算有限的中小企业也能够够患上着AI模子练习的门坎。1GBesmc
于本年的CFMSMemoryS上，潘健成再次先容了aiDAPTIV+。这是群联电子经由过程将闪存、SSD与GPU联合，开发出的一种成本效益高的AI模子练习解决方案。它利用了4片英伟达GPU，搭配特制的SSD(也即aiDAPTIVCache)及软件，就能够用2至10万$的成原来实现原本200万$的AI模子微调运算能力，该方案被潘健成称为“布衣的AI练习方案”。1GBesmc
aiDAPTIV+：把闪存看成内存利用艾媒咨询(iiMediaResearch)《2024-2025年中国AI年夜模子市场近况和成长趋向研究陈诉》显示，2024年中国AI年夜模子市场范围约为294.16亿元，估计2026年将冲破700亿元。因而可知，中国AI年夜模子行业正处在快速增加期。1GBesmc
自本年Q1最先，于各类行业峰会、钻研会上，“AI年夜模子推理一体机”成了厂商力推的重磅产物。针对于医疗、金融等垂直范畴，已经经有厂商将DeepSeek-V3等多模态年夜模子与推理优化引擎集成在AI推理一体机，让企业无需自建算力集群便可部署AI运用。1GBesmc
1GBesmc
图1：aiDAPTIV+撑持更高的参数目图片来历：群联电子1GBesmc
而aiDAPTIV+的推出，要比本年雨后春笋般冒出的AI一体机更早，并且群联的aiDAPTIV+方案是同时撑持AI模子微调练习与推理的“推训一体机”，对于在地端边沿AI的订制化导入又更佳的便捷，更主要的是成本为一般的中小企业都可承担。潘健成于去年Q1就已经经于公然演讲中分享该方案。按照他的先容，aiDAPTIV+是面向AI练习的解决方案，该方案可于一台4卡事情站平台中完成Llama70b模子的微调练习，容纳显存总量7倍以上的数据。1GBesmc
1GBesmc
图2：群联电子aiDAPTIV+AI练习架构与传统AI练习架构对于比图片来历：群联电子1GBesmc
同时，aiDAPTIV+包罗的中间件软件库(Middleware)可将GPU显存中不活跃的AI模子层切片分散，于aiDAPTIVCache缓存固态硬盘(SSD)上暂放待处置惩罚的这些切片，并将GPU上已经完成的部门与待处置惩罚的切片互换。此历程无需对于AI运用自己举行修改。用通俗的话来注释，也便是“aiDAPTIV+是让GPU可以用NAND作为内存利用”。1GBesmc
于传统的AI练习架构中，模子权重(手印型中每一个神经元毗连的参数)需全数加载至HBM，以撑持高频次计较，但跟着AI模子的参数目愈来愈年夜，也就需要更多的HBM来满意需求，这也象征着更多的练习成本。aiDAPTIV+可让GPU+HBM+DRAM+NANDFlash来做GPUAI运算的电脑架构。该技能素质是经由过程多级存储的动态调理，将NANDFlash纳入AI计较的数据链路，并与HBM、DRAM形成互补，从而冲破传统架构的内存限定。1GBesmc
跟着AI运用迅速向边沿端成长。DeepSeek的呈现降低了年夜模子成本，继而鞭策了这一趋向。然而，未经微调的DeepSeek模子可能会给出禁绝确的回覆，对于模子举行微调是须要的。小我私家及企业手中的数据量很是年夜，且这些数据不会容易上传到收集，需要把AI办事器放于当地并举行定制化处置惩罚。潘健成暗示，这促使了群联电子将AI练习器件做患上更自制，以期让每个平凡人与“产官学”单元(指由企业、当局及年夜学/科研机构构成的互助单元)都能拥有本身专属的AI装备与AI助理办事。1GBesmc
详细来看，办事器方案的成本进一步降低，使患上用户可以采办较为可承担的GPU盘来运行群联电子的AI方案。这不仅转变了用户的利用习气，还有增长了对于NAND(aiDAPTIVCache与企业级SSD)的需求。跟着AI于企业真个运用增长，NAND需求也将连续增加，消化这些需求则要很永劫间。“边沿端AI的成长将给企业级SSD带来巨年夜的存储需求，假如海内100万家企业各部署1-2台AI一体机，其可以或许带来的SSD(aiDAPTIVCache)需求也相称重大。别的，跟着数据的快速堆集，SSD的存储需求也会连续增长，”潘健成指出。1GBesmc
售价仅需2.5万元的AITPC已往一年多，群联电子致力在将NAND与AI联合，以降低AI运用成本。虽然此前各人认为NAND与AI的直接联系关系不年夜，但公司已经找到一种将两者联合的要领，并于此基础上实现成本平价化——让AI办事器或者AI事情站可于家安装，同时具有练习及推理能力。1GBesmc
1GBesmc
图3：群联电子的AITPC(人工智能练习电脑)1GBesmc
为了尽快鞭策aiDAPTIV+落地，以和帮忙学生去进修“怎样练习AI模子”而非只是“利用AI推理”，群联电子推出了AITPC(人工智能练习电脑;AITrainingPC)。AITPC售价2.5万元人平易近币起，它基在传统台式机及显卡布局，无需改换硬件，只需简朴集成，便可实现AI模子微调练习功效。其最年夜利益是——无需转变现有生态链，主板、显卡等硬件无需改换，只需于传统台式机上增长特定布局。用户只需于现有装备长进行简朴操作就可完成进级。1GBesmc
进级后的装备可以用在AI练习及推理。于教诲范畴，AITPC为学生提供了实践一人一机的AI模子练习现实操作练习训练的时机，使他们可以或许更好地进修及理解AI的运用，更主要的是，学生可以学会怎样于边沿地端微调练习AI模子，为特定的AI运用场景打造更适合的AI办事。此外，该装备也有助在鞭策AI技能的普和，让更多人可以或许接触及利用AI技能，促成相干技术的晋升及立异。1GBesmc
针对于近来各类AI一体机爆火的近况，潘健成评价道，边沿端AI一体机的事情标的目的很是准确，群联电子的aiDAPTIV+颠末近1年9个月的开发，已经从最初只提供硬件及中间软件，成长到如今涵盖更广泛的软件办事及功效。只管于早期该方案的市场反映淡漠，绝年夜大都是由于企业真个AI专业人材不足，不知从何入门，但跟着DeepSeek的爆火，市场最先承认低成本AI方案的可行性。如今，一些中国年夜陆企业于纷纷跟进。1GBesmc
据先容，群联电子已经经着手与海内的互助伙伴配合开发AI一体机。今朝，铨兴科技结合海潮云，发表预置DeepSeek-R1及DeepSeek-V3模子的海若一体机，率先实现671B满血版DeepSeek年夜模子单机办事，为政企客户提供年夜模子智能运用落地的一体化解决方案。铨兴科技的AI一体机恰是基在群联电子的aiDAPTIV+技能的配合开发方案。1GBesmc
AI驱动效率改造与财产互助除了此以外，群联电子也基在本身的AI一体机方案开发了PhisonCodePilot，帮忙公司研发工程师员工晋升事情效率。好比，于为美光开发汽车SSD主控项目中，群联电子的工程师需编写技能文件，此中触及到16,000行步伐码，若用传统方式需20人持续事情17周，而利用AI，于一样人力的环境下仅需两周；又如，于主控设计开发中，群联电子经由过程引入AI技能，减轻人力资源承担，并光鲜明显提高效率，于第一阶段已经节省10%人力，将来将继承开发第2、第三阶段。1GBesmc
经由过程以上实践，群联电子展示了AI技能于提高效率、降低成本及鞭策立异方面的巨年夜潜力，为行业的成长提供了名贵的经验及启迪。于此基础上，潘健成呼吁更多志同志合的人插手互助，配合创造夸姣的边沿端AI运用。他夸大说，AI财产广漠，需要软件公司、体系集成公司、硬件公司及经销商等配合努力，配合实践AI普和梦。1GBesmc
-乐鱼电子