原创 汤道生 中国网信杂志 2024-01-09 16:07 发表于北京
腾讯集团高级执行副总裁、云与智慧产业事业群CEO
党的十八大以来,以习近平同志为核心的党中央高度重视人工智能等新技术发展。习近平总书记指出:“把新一代人工智能作为推动科技跨越发展、产业优化升级、生产力整体跃升的驱动力量,努力实现高质量发展。”人工智能和实体经济深度融合将为高质量发展注入强劲动力。
具备自主创新能力的全链路人工智能技术,不仅是产业发展所需,也是实现高水平科技自立自强的题中应有之义。腾讯产业互联网一直将人工智能作为重点领域。过去五年,腾讯在人工智能领域申请专利超1万项,居全球互联网行业榜首。腾讯优图实验室拥有1600多项人工智能相关专利,多次在国际权威比赛中创造世界纪录。在大语言模型领域,腾讯打造了完整覆盖自然语言处理、计算机视觉、多模态等能力的通用大模型,以及覆盖金融、文旅、政务、医疗、教育等20多个行业的行业大模型,助力产业智能化提速。
产业场景是人工智能的最佳“练兵场”。结合行业专业知识,大模型应用在具体业务场景可为企业降本增效,提升用户体验,为实体经济发展带来新动能。
当前,很多企业都在积极探索如何把大模型真正用起来,但在实践过程中遇到很多现实难题。例如,模型构建(训练)和使用(推理)成本高、模型精度和准确性不够容易出现“幻觉”、敏感数据保护以及内容安全合规等等。对此,腾讯提出“全自研、高可用、强安全”的大模型发展思路,通过打造模型精选商店、平台工具和智能应用,助力企业快速拥抱大模型,实现高质量发展。
以全链路自研通用大模型实现人工智能关键技术自主可控
通用大模型既是人工智能的关键技术,也是未来科技创新、产业链安全以及网络信息安全的重要变量。腾讯始终坚持“全链路自研”的大模型发展路线,规避依赖国外开源大模型可能存在的预训练数据集不透明、中文能力不足、调整不够灵活等问题。自研模式下,我们可以更好地筛选预训练语料,灵活调整模型架构和参数,提升大模型对中文语义的理解能力、生成内容的合规性等,也能够更好地运用已有的技术栈体系与业务深度结合,实现模型能力的快速迭代,为用户提供更加稳定可靠的服务。在2023腾讯全球数字生态大会上,腾讯混元大模型正式亮相。腾讯混元从第一个token(大语言模型文本单位)开始从零训练,拥有超千亿参数,预训练语料超两万亿tokens,整个过程从模型算法到机器学习框架再到人工智能基础设施均采用自研技术。
在模型算法上,为解决大语言模型的“幻觉”问题,腾讯在预训练阶段通过“探真算法”进行事实修正。与目前市场上常见的开源大模型相比,能有效降低幻觉率达 30%~50%。通过强化学习方法,让模型可以识别“陷阱”,对安全诱导类问题拒答率提升20%;通过位置编码优化,提高超长文处理效果和性能;通过思维链的新策略,让大模型可以同人类一样结合实际应用场景进行推理和决策。在中国信息通信研究院的标准符合性测试中,混元大模型在“模型开发”和“模型能力”两个重要领域的综合评价均获得当前最高分。在学习框架和基础设施上,腾讯自研的机器学习框架Angel(腾讯第三代高性能计算平台),使混元大模型的训练速度比业界主流框架提升1倍,推理速度提升1.3倍。此外,腾讯自研新一代HCC(High-Performance Computing Cluster)高性能计算集群,采用腾讯云自研星星海服务器,加上自研高性能网络“星脉”,具备业界最高的3.2T超高互联带宽、TB(太字节,计算机存储容量单位)级吞吐能力和千万级IOPS(每秒进行读写操作的次数),整体性能比过去提升3倍。最新推出的腾讯云向量数据库能够更高效地处理图像、音频和文本等非结构化数据,使大模型预训练数据的分类、去重效率提升10倍,最高支持10亿级向量检索规模,延迟控制在毫秒级。
以行业大模型和精调解决方案实现模型落地高可用
很多人把大模型应用于聊天、答题等,但事实上,大模型与产业结合才是真正的“蛟龙入海”,可以形成更强的生产力。因此,腾讯除打造混元大模型(也以此为底座)外,还推出面向行业的腾讯云MaaS(模型即服务),让大模型真正做到产业可用。
一是推出大模型精选商店,以适配不同行业的差异化需求。各行各业场景不同,需求千差万别,往往需要不同的大模型支持。大模型精选商店既能提供混元大模型,也能提供几十个行业大模型和开源大模型。企业可以像在商店选购商品一样,通过API(应用程序编程接口)调用这些模型,或者在这些模型基础上构建不同产业场景的专属模型。目前,腾讯云行业大模型已经覆盖20多个行业。以能源行业为例,很多电网设备分布在偏远地区,人工巡检效率低,但通过电力视觉大模型,一个模型就可以有效适应不同电网场景,具有高检出率、低误检率、支持少样本训练、泛化能力强的优势,助力电网生产经营。
二是提供模型训练和精调工具链,一站式解决数据处理问题。很多人注重大模型,但对数据关注不够。企业在构建专属模型时,需要把自身数据用起来,海量数据预处理非常重要;构建过程中,要关注数据保护与安全合规、管理好数据与标签等;构建完成后,要根据数据的变动,反复精调和优化模型的性能。腾讯云TI平台行业大模型精调解决方案可以帮助模型开发者与算法工程师高质高效、安全合规处理数据,并提供多机多卡训练加速能力。企业选择合适的模型,灌入行业知识、专属数据,就能够训练与精调出专属大模型,高效率、低成本地构建智能应用。同时,腾讯会对专属数据做隔离,并支持模型本地训练和私有化部署,让企业使用数据时更放心。
三是打造“开箱即用”的智能化产品,推动大模型走向普惠。腾讯基于大模型的能力,升级现有的企业级应用,让每个企业用户都能享受到智能化便利,真正践行“科技向善”。例如,腾讯打造的企业知识库产品——腾讯乐享,内部一线员工每天都在用它查询产品、技术和经营文档,以及反馈问题。以前,用户要从大体量的知识库里获取想要的信息并不容易,对此,腾讯基于行业大模型打造了人工智能助手,用户用自然语言提问就能从繁杂多样的资料中快速获取想要的信息。再如,腾讯会议即将上线人工智能小助手,它不仅具有多项基础能力,还能完成会议内容分析、生成会议摘要,未来可实现智能会管会控等任务。
以全链路安全合规解决方案确保大模型可信可靠
习近平总书记指出:“要重视通用人工智能发展,营造创新生态,重视防范风险。”安全是大模型的立身之本。数据安全和隐私是“底线”,内容安全合规是“红线”。腾讯将20多年积累的安全能力迁移到大模型的创建和应用上,以帮助企业守护两道防线。
在数据安全与隐私保护上,将腾讯安全玄武实验室的“隐私安全解决方案”用到大模型中,企业可以在端侧部署使用,在与大模型交互时,输入的提示词等数据也不会被系统记录。在生成内容的安全合规上,打造了全链路内容合规解决方案,前中后过滤信息:在问题侧,腾讯天御文本审核模型能对问题进行审核,识别涉黄、涉暴等问题并拒答;在模型侧,通过强化学习等手段,自动规避一些低质量甚至垃圾答案的生成;在答案侧,模型生成答案后会再次通过腾讯天御文本审核模型,对不符合要求的答案进行处理。
大模型时代,安全问题不仅存在于模型本身,还存在于模型之外。在模型应用普及过程中可能催生出一些新的安全敞口和攻击手段,例如,欺诈分子通过生成式人工智能快速制作“钓鱼邮件”,低成本复刻人脸和声音用于不法活动等,这些都会给人们的生产生活带来新的安全挑战。
腾讯安全拥有多年产业互联网实战经验,在威胁情报、风控反欺诈、零信任等数字安全领域沉淀了丰富的能力,并在10亿级用户和海量业务场景中得到充分验证。人工智能技术的不断增强让企业获得一种越来越重要的生产工具,将数据中的“信息能源”源源不断地转化为实体经济高质量发展的新动能。
未来,腾讯将持续投入人工智能技术研发与产业落地,既发挥好科技平台企业的技术和产品优势,又用好在产业互联网实践中积累的行业经验,携手伙伴打造“百行千模”,形成对行业的广覆盖、深助力,共同推动产业高质量发展。