12月19日，智源诡计院发布并解读国表里100多个开源和贸易闭源的言语、视觉言语、文生图、文生视频、语音言语大模子轮廓及专项评测成果。基于评测成果，智源诡计院副院长兼总工程师林咏华回来指出，2024年下半年，大模子发展更聚焦轮廓才能进步与内容应用；多模态模子发展赶紧，涌现出不少新的厂商与新的模子，言语模子发展相对放缓。在模子开源生态中，除了Meta这些科技巨头除外，也出现了新的开源孝顺者。

　　《中国见识报》记者提防到，现场反响最为犀利的步调是由AI大模子及时演示的辩护赛，由阶跃星辰、智谱AI两家国产大模子，与OpenAI的GPT-4o、Anthropicr Claude-3.5两家国际大模子当场“开展辩护”。就“拥抱哲学是不是现代年青东谈主的精神自若之谈”“功夫熊猫和孙悟空哪一个更恰手脚念队友”两个辩题分歧进行正反方辩护，由两名来自北京大学的辩护大家进行现场点评。

　　“测评少量也不比设置浅陋”

　　林咏华在现场嘉赞：“大模子性能测评少量儿也不比大模子设置浅陋。”她先容，智源诡计院自2023年6月上线了大模子评测平台FlagEval，过程屡次迭代升级后，现在已隐敝民众800多个开源、闭源模子，包括20多种任务、90多个评测数据集、超200万条评测题目。值得一提的是，本年9月，智源诡计院上线绽开了“大模子角斗场”，支撑用户通过模子对战来评测模子的性能及行状质料。

　　。这些测试成果或排名榜，不仅粗略给耗尽者在纷混乱杂的应用商场提供一些聘请解析参考，况兼对企业本领厂商来说也能提供第三方背书，了解本人所处的行业地位。

　　智源诡计院这次发布的评测成果触及言语模子、文生图、文生视频多模态模子、语音言语模子等。其中，言语模子针对一般华文场景的绽开式问答或者生成任务，模子才能已趋于实足踏实，然而复杂场景任务的施展，国内头部言语模子仍然与国际一活水平存在显耀差距。言语模子主不雅评测重心磨砺模子华文才能，成果自大字节向上的豆包pro、百度文心4.0 Turbo分歧位居第一、第二，OpenAI GPT-o1、Anthropic的Claude-3-5分歧位列第三、第四，阿里巴巴的千问-Max排名第五。此外，从文生视频多模态模子的测评成果来看，文生视频尚处于起步阶段，画质、镜头动态性、转场通晓度在进步的同期，精深存在着大幅度的动作易变形、无法结什物理规矩、物体淹没、清楚、穿模等情况。成果自大，快手可灵1.5高品性版、字节向上即梦P2.0pro、爱诗科技PixVerse V3、MiniMax 海螺AI、Pika 1.5位列前五。

　　言语模子发展放缓，多模态需求振奋

　　智源诡计院在现场真实演示大模子1v1辩护赛的步调引起了犀利的反响，林咏华称由2018年IBM的AI系统Project Debater初次与东谈主类进行现场公开辩护启发，机器与机器对战、机器与东谈主类抗拒，齐是为了更直不雅地展示AI的才能。

　　谈及测评成果自大的“言语模子发展放缓”不雅察，林咏华指出，言语模子发展于今已具备了基础才能，以Meta的LLama 405B、阿里巴巴的千问2模子为例，性能施展已很高，后续要杀青透露增长不太容易。因此，咱们会看到更新更大的言语模子出现的频率有些减缓，发展进入了“深水区”。400B参数目的大言语模子，要是要进行更大的立异，需要参加的资源本钱是特殊浩瀚的，“深区水”的立异难度会更大。

　　与此同期，林咏华暗意：“从民众模子的发展情况来看，模子尺寸正在出现南北极分化。”本年11月Hugging Face下载量最高的模子聚积于两类：一类是更大、更强的宽敞模子，如Llama3.1 405B一个月的下载量达到七八百万次；另一类呈现上下载量的却是7B及以下的小模子。

　　与言语模子放缓酿成昭彰对比的是，多模态模子的后劲正在逐渐显露，需求鼎沸，许多场景齐依赖多模态模子，而多模态模子的基础才能还莫得像言语模子那样达到一定的水平，存在透露的进步空间。在智源诡计院看来，预测2025年，多模态模子会层见叠出，包括开源的多模态模子。

　　在采访中，林咏华还提到华文互联网“数据孤岛”的问题。十年前，以华文撰写的互联网数据占民众的比例约5%，但自2021年于今，这一数字仅剩下1.3%。需要提防的是开云体育(中国)官方网站，民众使用华文上网的用户数目在十年里变化并不透露，约19%。这一比例呈现如斯大落差的原因即是数据孤岛的存在。再以新兴的视频生成模子来看，大宗的互联网视频数据并莫得被确切地、很好地哄骗，成为当下视频生成模子的生成质料仍有较大进步空间的原因之一。