AI安全是一个跨学科领域，旨在防止人工智能系统造成伤害，涵盖从偏见、错误信息和滥用等近期问题，到人类是否能在未来高度能力系统中保持有意义控制的长期关切。它借鉴了机器学习研究、政策和哲学，其从业者对于哪些风险最应受到关注存在分歧，这种分歧通常被非正式地描述为“近期”安全与“长期”安全。
范围
近期AI安全工作解决的是当前部署系统中可见的问题：产生虚假或捏造陈述的模型，即所谓的幻觉；可通过提示注入或越狱被操纵而忽略指令的系统；以及构建护栏以过滤或阻止有害输出而不使系统无法使用的更广泛挑战。长期AI安全工作关注人工智能带来的生存风险，包括接近通用人工智能或超级智能的系统可能追求与人类利益不一致且难以逆转的目标的可能性。这两个分支都将对齐，，即让系统的实际行为与设计者的意图相匹配的问题，，视为基础。
历史与机构
在2020年代初大型语言模型扩展之后，有组织的AI安全研究显著增长。Anthropic于2021年由前OpenAI研究人员创立，部分目的是开展他们认为需要直接构建和研究前沿模型的安全研究。学术和非营利机构，如机器智能研究所和AI安全中心，与包括埃利泽·尤德科夫斯基和丹·亨德里克斯在内的研究人员相关，主张将先进AI带来的极端风险视为严肃可能性；2023年，亨德里克斯的中心发布了一份一句话声明，由各大实验室的负责人签署，呼吁将AI带来的灭绝风险视为与流行病和核战争相当的全球优先事项。各国政府通过新机构和协议作出回应，包括2023年11月英国首届AI安全峰会上的布莱切利宣言、英国和美国的国家AI安全研究所，以及如欧盟人工智能法案等具有约束力的法规。
技术
实用的安全技术包括红队测试，即测试人员在系统部署前故意尝试引发有害行为；可解释性研究，试图理解模型的内部计算而非仅凭输出判断；基于人类反馈的强化学习和宪法AI，在训练期间塑造模型行为；以及评估框架，用于测试危险能力，如协助网络攻击或生物武器设计的能力。一些实验室已发布能力阈值，随着模型能力增强而触发额外保障措施，这一做法体现在如Anthropic的负责任扩展政策等框架中。
辩论
一方面的批评者认为，生存框架将注意力和资金从具体的、当前的危害上转移开，如算法偏见、劳动力替代和训练运行的环境成本。另一方面的批评者，包括一些AI安全研究人员自己，认为在竞相构建更强大系统的实验室所作的自愿承诺，若无外部执法则不足，且公司和国家安全之间的竞争压力会削弱公开作出的安全承诺。该领域还面临一个基本的测量问题：与拥有数十年事故数据的安全关键行业不同，没有既定的方法来量化AI安全工作旨在预防的危害的概率，这使得关于优先事项的基本辩论悬而未决。