2024年被普遍认为是国产AI大模型全面商业落地的元年，随着AI大模型创作的多模态内容越来越丰富，AI安全问题受到全球高度关注。

AI安全，即人工智能安全，是一个涉及多方面的概念。它主要指的是通过采取必要措施，防范对人工智能系统的攻击、侵入、干扰、破坏和非法使用以及意外事故，使人工智能系统处于稳定可靠运行的状态。

AI安全应遵循人工智能以人为本、权责一致等安全原则，保障人工智能算法模型、数据、系统和产品应用的完整性、保密性、可用性、公平性和隐私的能力。

工业和信息化部日前公布数据显示，我国人工智能发展取得积极进展，企业数量超4500家，智能芯片、通用大模型等创新成果加速涌现，智能基础设施不断夯实，数字化车间和智能工厂加快建设，为人工智能赋能新型工业化奠定了良好基础。随着大数据和人工智能融合，如何有效保护用户隐私、确保数据安全，同时满足AI模型训练的大数据需求，成为重要课题。

AI安全行业市场环境

AI治理一直是监管层、学术界及产业界重点关注的问题，不少学者专家都发出相关的呼吁。所谓治理，一方面是国内治理，表现为立法立规、多举措监管等;一方面则是国际治理，表现为国际合作，发出倡议、达成共识等形式。

为应对大模型安全风险，我国先后出台《生成式人工智能服务管理暂行办法》《互联网信息服务深度合成管理规定》等政策文件，构建针对大模型的“双备案系统”，推动人工智能安全、健康、规范发展。

2024年3月，全国网络安全标准化委员会发布《生成式人工智能服务安全基本要求》，对上述《暂行办法》中的数据来源合法、内容安全等合规要求的执行规则进行了细化，为生成式人工智能服务提供者在实践中开展安全评估提供了有效路径。

上市公司加快布局AI安全市场

市场机构判断，人工智能行业有望继续保持快速发展，并成为全球科技产业发展的核心主线之一。研究机构IDC预测，全球生成式人工智能市场规模预计将从2023年的150亿美元增长到2029年的1300亿美元，年复合增长率超过50%。

随着全球经济景气回温，预期2024年全球云服务商资本支出将大幅增加，尤其在AI资本支出方面将维持近一倍的增长率，且人工智能占整体资本支出的比例将由原先的25%提高至39%。为满足AI安全市场需求，相关上市公司陆续研发和推出AI安全检测、数据安全等产品。

国投智能5月17日在投资者互动平台上表示，公司卡位技术优势，发布了人工智能大模型内容检测平台和“AI-3300慧眼视频图像鉴真工作站”V1.3版本，可以对利用深度伪造技术合成的生成式文本、视频、图像等进行识别、检测和鉴定。腾讯云5月17日发布AI安全保护框架，以及全链路的内容安全解决方案和数据安全解决方案，目前已在AI问答、数字人、创作助手、代码生成、娱乐社交、AI客服等场景落地。

“AI安全建设带来很多市场机会。”闫怀志表示，比如隐私保护技术、风险评估与治理、安全教育与培训、安全咨询与服务方面。

在激烈的市场竞争中，企业及投资者能否做出适时有效的市场决策是制胜的关键。报告准确把握行业未被满足的市场需求和趋势，有效规避行业投资风险，更有效率地巩固或者拓展相应的战略性目标市场，牢牢把握行业竞争的主动权。