成人网站 知乎技艺沙龙：自研大模子推理框架ZhiLight肃肃开源
成人网站
12月7日，知乎斡旋DataFun举办主题为《大模子应用工程化试验：从实验室到千万级用户居品》的技艺沙龙。知乎AI算法负责东谈主王界武、机器学习平台负责东谈主王新、百川智能大讲话模子资深算法巨匠王宇龙以及“教导词布谈师”李继刚带来大模子计议的专科共享和深度同样，诱骗来自15个行业、130家企业参会者到场。知乎CTO孙斌在现场秘书，知乎自研的轻量高效大模子推理框架ZhiLight肃肃开源。
知乎直答与推理框架 ZhiLight：知乎加快大模子工程化试验
2024 年知乎捏续鼓舞大模子工程化试验，于 6 月、10 月接踵推出知乎直答过火专科搜索功能，聚焦专科东谈主士的出产力场景，更是将 AI 搜索鼓舞到更具专科、实用性的深度搜索智商拓展阶段。
在技艺沙龙上，知乎AI算法负责东谈主王界武在意先容了知乎直答从0到1的搭建经由，并要点共享了技艺决策选型和「踩坑」资历。据先容，知乎直答团队在构建AI问答系统时，对比了两种技艺阶梯：LLM 捏续 pretrain+posttrain 以及检索增强生成（RAG）决策，最终后者在本钱、时效性、准确性、可膨胀性等多维度胜出。当用户发问时，RAG 系统先从学问库检索计议信息行为高下文，再由大讲话模子生成回复。团队通过在Query汇集、调回、大模子生成等多个秩序深刻优化，权贵裁汰了AI 的幻觉问题，使得谜底具备更高的准确性和巨擘度。
在专科搜索功能侧，知乎直答团队使用了多种前沿技艺。不仅达成了多智能体的协同职责，因循信息查询、内容分析、数学计较等多种功能，还攀附大讲话模子繁多的推明智商，对用户的高下文和发问进行深刻分析，从多角度、多档次调回各样且高质地的内容。此外，知乎直答专科搜索还在念念维链教导词工程、智能文档融会、动态资源调整等多个技艺模块达成冲破。
王界武先容，下一步，知乎直答团队筹备将居品与社区深度交融，称心更多场景下用户找谜底的需求，在准确性、时效性、交互模式等范围达成更多升级。同期将进一步擢升模子的推明智商，使知乎直答具备更强的责罚复杂问题智商和使用体验。
除了知乎直答成人网站，知乎自研的大模子推理框架ZhiLight也在本次行径上肃肃亮相。知乎机器学习平台负责东谈主王新先容，知乎在多种型号的英伟达建立上部署了大批的大模子推理工作，优秀的开源神色 vLLM、SGLang 正常应用于知乎里面。
与此同期，知乎也在探索更低本钱、更具可膨胀性的自研推理框架决策。2023 年运转，知乎与面壁智能协作开辟知海图大模子以及一系列大模子锤真金不怕火与推理工程架构。其中 ZhiLight 的想象方向是不错快速部署与试验 LLaMa-like 模子。
（ZhiLight 卡间通信优化截止）
据先容，ZhiLight 现在兼容 OpenAI chat/completions 接口，监控筹备上与 vLLM metrics对皆，便于日常使用及以及与 vLLM 等开源引擎的性能与巩固性对比。ZhiLight 的优化侧重于 PCIe 卡间通信优化、内存经管以及并发央求经管优化，同期还集成了 FlashAttention、Marlin、TensorRT、exllama 等开源神色。其中，ZhiLight 通过计较与通信overlap、以及低精度通信等妙技，单层Transformer计较时辰裁汰了40%以上。
（ZhiLight 引擎的性能证实）
如上图，模子范围达到70B 时，多卡推理受卡间通信影响更加显然，ZhiLight 在 TTFT 筹备上要显然优于现在主流的开源推理引擎，何况在 110B 范围情况下 ZhiLight 的上风进一步扩大。
有没有好看的三级临了，知乎CTO孙斌在现场秘书，ZhiLight一经肃肃开源（https://github.com/zhihu/ZhiLight）。将来，知乎但愿与科技行业、技艺从业者系数共建开源洞开的同样社区，并推动前沿技艺讨论从知乎线上延长到线下。
Agent、AGI、Prompt……大模子技艺前瞻与畅想
从 Agent到AGI咱们还有多远？百川智能大讲话模子资深算法巨匠王宇龙从一个探索Agent极限实验运转，在意先容了为什么要构建Agent。
在他看来，基于LLM驱动的智能体相较于传统Agent，期骗了大型讲话模子（LLM）的繁多智商，透彻改换了智能体的职责风景。这类智能体不单是是完成单一任务的器具，它们概况在各式不同的任务之间切换，何况通过汇集当然讲话来责罚问题，其中枢智商不错被判辨为：狡计、追溯、器具使用。
王宇龙还先容，刻下Agent濒临的主要问题：短少表面教导、架构百花皆放、念念路千奇百怪、截止狼籍不皆，并进一步先容了Agent和LLM的底层细节。
王宇龙以为，科学之是以可能，是因为存在一些可计较简化的区域，这些区域即使在广泛的不行计较简化之中也允许轨则和瞻望的存在。东谈主工智能有可能以新的风景发现并期骗这些简化的区域。AI尽头合适通过捕捉数据中的轨则来作念出近似、「省略正确」的瞻望，这与东谈主类念念维的风景相似。然而它在进行精准、在意的瞻望时会遭遇逶迤，非凡是在面对计较不行约性的时候。
Prompt是什么？「教导词布谈师」李继刚在本次同样会共享了对于Prompt的谈与术。他忽视「Prompt=抒发」，而「抒发=本意+文意+解意」，并进一步发扬了「本意=教学+词汇+学问」的观念，以及大模子与Prompt的相干：模子截止=LLM*（Task+Promt）。
李继刚在会上共享了大批 Prompt实战教学。他以为，旧年 Prompt的要道词是从短到长，本年的要道词则是从长到短，但最实质的，照旧要与大模子达成「共振」。ChatGPT 兴起时，他和好多东谈主一样，给大模子写很长的 Prompt，但本年运转，他更习尚把 Prompt压缩成一个词来开启大模子的解压经由。在他看来，用最了了、粗略的抒发，指向中枢实质，才是切中肯綮的*解。
李继刚以为，Prompt工程师应该具备东谈主文和技艺两项基本训诲，既要能写编程，要有理性数学的念念维，又要会写稿，有理性抒发的念念维。
这次大模子技艺沙龙由知乎发起成人网站，斡旋Datafun举办，同期亦然知乎系列技艺沙龙的*场。知乎智能算法部负责东谈宗旨亚峰暗示，每天都有大批行业内对大模子感深嗜的一又友们在知乎讨论新技艺和应用教学，咱们会不绝把这些高质地的讨论延长到线下，组织一系列访佛的高质地行径，将来知乎将进一步加强与科技行业、技艺从业者的同样联动，为互联网行业前沿技艺研发和应用孝顺力量。