Safe Superintelligence Inc.（SSI）は、2024年6月にイリヤ・サツケバー（OpenAIの元チーフサイエンティスト兼共同創設者）が、ダニエル・グロスとダニエル・レヴィとともに設立したAI研究企業です。同社は、安全なスーパーインテリジェンスを構築するという単一の目的を追求し、他の製品は持たないと説明しており、その目標に到達するまで中間的な商用システムをリリースしないと述べています。
設立
サツケバーは、2023年11月のOpenAI取締役会危機（サム・アルトマンを一時的にCEOから解任した出来事）で中心的な役割を果たした数ヶ月後、2024年5月にOpenAIを去りました。彼は以前、将来の超人的なAIシステムを調整することに焦点を当てたOpenAIのSuperalignmentチームを率いていましたが、そのチームは彼と共同リーダーであるヤン・レイクの離脱後、事実上解散しました。SSIは、カリフォルニア州パロアルトとイスラエルのテルアビブにオフィスを構えて発表され、サツケバーとグロスのそれぞれの経歴を反映しており、同社は広く人員を拡大するのではなく、意図的に小規模でコンパクトな技術チームの編成を既に始めていると述べました。
構造と資金調達
SSIは、AI研究の最前線で活動する企業としては異例の公的な姿勢を採用しました。それは、短期的な商業的・製品的圧力から隔離されたままであり、OpenAI、Anthropic、Google DeepMindなどの研究所を形成する製品リリース、ベンチマーク競争、四半期ごとの収益目標のサイクルを回避することを事前に宣言したものです。短期的な製品を避けつつも、SSIは substantial なベンチャー資金を調達し、2024年のラウンドでは約10億ドル、2025年までのさらなる資金調達で評価額を数百億ドルに押し上げました。これは、公開製品、ベンチマーク結果、収益を持たない企業としては注目に値します。元YコンビネーターパートナーでAI投資家であるダニエル・グロスは、2025年に同社の運営職を離れ、Metaのスーパーインテリジェンス事業に加わりましたが、サツケバーはCEOとして留まりました。
評価
SSIの前提、すなわち安全性と能力は、能力のあるモデルが既に存在した後に後付けするのではなく、単一の研究課題から一緒に追求されるべきだという考えは、関心と懐疑の両方を引き出しました。支持者は、これをAIアライメント研究で探求されたアイデアの自然な延長であり、小規模で集中したチームが他の研究所の商業的義務が妨げる進歩を達成できるかもしれないという賭けだと位置づけました。懐疑論者は、どの研究所も、リスクが懸念されるシステム自体を構築する前に、存在リスクを解決したと信頼できる形で主張できるか疑問視し、SSIの記録的な評価額は、開示された製品やベンチマークがないにもかかわらず、同社の表明された使命と同じくらい、サツケバー個人への投資家の信頼を反映していると指摘しました。2025年時点で、SSIは公開モデル、論文、ベンチマーク結果をリリースしていません。