Nous Researchは、オープンソースの大規模言語モデルとアライメント技術を開発する分散型AI研究組織です。2022年に独立した研究者やエンジニアのグループによって設立されたこのラボは、OpenAIや他の組織のベースモデルを微調整したバリアント、特にHermesシリーズで注目を集めました。Hermesシリーズは、透明性を維持しながら指示追従と推論能力の向上を目指しました。
このラボは伝統的な企業構造を持たず、複数のタイムゾーンにわたる貢献者を調整し、コミュニティ主導の開発に依存しています。その活動はMachine learningとGenerative AIの交差点に位置し、寛容なライセンスを通じて高度なモデル機能を利用可能にすることを重視しています。AnthropicやGoogle DeepMindのような主要ラボとは異なり、Nous Researchは小規模チームの機動性を強調し、微調整手法に関する詳細な技術レポートを公開しています。
Hermesモデルシリーズ
主力のHermesシリーズは、2022年末にリリースされたMetaのLLaMA-1 13Bモデルの微調整版であるHermes 1から始まりました。続いて2023年には、応答品質を向上させるためにReinforcement Learning from AI Feedback (RLAIF)（AIフィードバックからの強化学習）を組み込んだHermes 2がリリースされました。このシリーズはMistral AIや他のオープンウェイトモデルに基づくバージョンに拡大し、2024年にはHermes 2 ProとHermes 3がリリースされました。これらのモデルは、推論とツール使用のベンチマークで強い性能を示し、しばしばより大規模なプロプライエタリシステムに匹敵しました。
Hermesシリーズの特徴的な点は、コミュニティによってキュレーションされた多様で高品質なトレーニングデータセットの使用です。Nous Researchは、より強力なモデルからの合成データを含むソースをフィルタリングして混合する独自のデータパイプラインを開発し、破滅的忘却を起こさずに指示追従を向上させました。モデルは通常、Apache 2.0ライセンスの下でリリースされ、商用および研究利用が可能です。
アライメントと評価の取り組み
モデルのリリースに加えて、Nous Researchはアライメント研究にも貢献しており、特にモデルの拒否行動をテストする「DangerousQA」ベンチマークの開発が注目されます。2023年には、解釈可能性のための「Nous Puffer」ライブラリを導入し、2024年には、プロンプトにユーザー定義の特性を埋め込むことでモデル出力を操作する「ペルソナ条件付け」という手法に関する研究を発表しました。これらのツールは、他の研究者がLarge language modelの安全性と行動を評価するために使用しています。
また、このラボはHugging Faceなどのプラットフォームで「Nous Research Leaderboard」を維持し、オープンモデルの性能を追跡しており、クローズドなベンチマークに代わる透明な選択肢を提供しています。これにより、Nous Researchはオープンソースエコシステムの主要プレーヤーとして位置づけられ、Stanford AI LabやBAIR (Berkeley AI Research)などの学術グループによって頻繁に引用されています。
コミュニティと分散型構造
Nous Researchは分散型運営で知られており、主要な貢献者は仮名で活動し、Discordを通じて調整を行っています。ラボには正式な本社はありませんが、サンフランシスコに仮想オフィス住所を記載しています。資金は研究助成金、寄付、およびai-infrastructure分野の企業との選択的なコンサルティング契約から得られています。この構造により迅速な反復が可能で、開発のピーク期間中はモデル更新が毎週リリースされました。
コミュニティの側面は「Nous Research Forum」にも及び、ユーザーが微調整スクリプトを共有し、Deep learning技術について議論するオンラインスペースです。また、ラボは「OpenHermes」コレクションなど、ユーザー生成の指示ペアを集約するデータセットを制作するための共同「ハッカソン」も開催しています。
影響と評価
Nous Researchのモデルは、学術および商業の両方の環境で広く採用されています。例えばHermes 3は、信頼性の高いツール呼び出し機能により、いくつかのRoboticsやai-agentsプロジェクトで使用されました。一方で、批評家は、ラボの急速なリリースサイクルがバージョン間で品質のばらつきを生むことがあると指摘しています。それでも、そのオープンなアプローチは、AI21 LabsやInflection AIを含む他のラボに、より透明な微調整慣行を採用する影響を与えました。
計算資源に関しては、ラボはAmazon Web ServicesやGoogle Cloudなどのクラウドプロバイダーに依存し、しばしばNVIDIA H100クラスターをレンタルしています。独自のハードウェアは開発していませんが、オープンモデルの推論最適化でGroqと協力しています。2025年現在、ラボは多言語およびマルチモーダル拡張に焦点を当てた新しい微調整モデルのリリースを続けています。
Nous Researchのより広い意義は、小規模で分散したチームが巨額の予算なしでArtificial intelligenceを有意義に前進させることができることを示した点にあります。その活動はまた、モデルライセンスやプロプライエタリな重みの微調整の倫理に関する議論を引き起こしており、これはAI政策コミュニティで活発なトピックであり続けています。
今後の方向性
今後、Nous Researchは継続学習と低リソース言語サポートの方法を探求しています。また、次トークン予測の代替としての拡散ベースのシーケンス生成に関する実験も発表しています。しかし、これらのプロジェクトは初期段階にあり、ラボの主な成果は既存のTransformer (architecture)モデルの高品質な微調整であり続けています。