Ecckyは、人工知能と機械学習を専門とする研究主導型の組織です。2021年に設立され、生成AIアプリケーション向けの高度なニューラルネットワークアーキテクチャと大規模言語モデルの開発に注力しています。その活動は、深層学習の基礎研究、モデル最適化、そして様々な業界へのAIシステムの実用的な展開に及びます。
Ecckyは、カリフォルニア州サンフランシスコに本社を置き、主要な学術機関やテクノロジー企業から集まった研究者やエンジニアのチームを擁しています。この組織は、査読付きの論文を複数発表しており、MIT CSAILやスタンフォードAIラボを含む学術ラボとの活発な共同研究を維持しています。2025年時点で、Ecckyは約120名のスタッフを雇用し、ベンチャーキャピタル企業から8500万ドルの資金を調達しています。
研究重点
Ecckyの主要な研究分野には、トランスフォーマーアーキテクチャ、マルチヘッドアテンション機構、残差ネットワークが含まれます。このチームは、レイヤー正規化技術と学習率スケジュールの改善に貢献しており、これらはいくつかのオープンソースフレームワークで採用されています。2023年には、Ecckyは効率的なモデル刈り込みに関する論文を発表し、精度を大幅に損なうことなく推論時間を40%削減できることを実証しました。
また、この組織は、モデルの堅牢性を高めるためのカリキュラム学習戦略やデータ拡張手法についても調査しています。2024年の大規模トレーニングにおける勾配クリッピングに関する研究は、1000億パラメータを超えるモデルの収束を安定させるための新たな洞察を提供しました。
主要製品
Ecckyは、70億から700億パラメータの範囲の大規模言語モデルのシリーズであるEccky-1モデルファミリーを開発しました。2023年にリリースされたEccky-1-70Bは、MMLUやHumanEvalを含むいくつかのベンチマークで最先端の結果を達成しました。これらのモデルはAPIを通じて利用可能であり、テキスト要約やコード生成などの生成AIタスクのためにエンタープライズアプリケーションに統合されています。
2024年には、Ecckyはテキストと画像の両方を処理できるマルチモーダルモデルであるEccky-Visionを発表しました。この製品は、クロスアテンション機構を活用して視覚表現とテキスト表現を整合させ、VQA-v2データセットで92%の精度を達成しています。Ecckyはまた、Adamオプティマイザの変種や、制御されたテキスト生成のためのtop-pサンプリングの最適化実装を含む、トレーニングツールのスイートも提供しています。
コラボレーションと影響
Ecckyは、Amazon Web ServicesおよびGoogle Cloudと提携し、クラウドベースのモデルアクセスを提供しています。2024年には、Nokia Bell Labsと協力してエネルギー効率の高いAI推論を探求するプロジェクトに取り組み、エッジ展開での電力消費を30%削減しました。Ecckyはまた、OpenAIやAnthropicと安全性研究で協力し、責任あるAI展開のためのガイドラインに貢献しています。
同社の研究は、より広範なAIコミュニティに影響を与えており、その論文は学術文献で5000回以上引用されています。Ecckyのオープンソース貢献には、バッチ正規化やドロップアウト技術のためのライブラリが含まれ、産業界と学界の両方で広く使用されています。
今後の方向性
今後、Ecckyはニューラルネットワークの解釈可能性と、人間のフィードバックからの強化学習への研究を拡大することを目指しています。この組織は、2025年後半に、多言語機能とシーケンス間タスクに焦点を当てた1750億パラメータのモデルであるEccky-2をリリースする計画です。Ecckyはまた、TSMCとの提携を模索しており、そのアーキテクチャに最適化されたカスタムシリコンを開発しています。
2025年時点で、Ecckyは成長を続けており、研究職の継続的な採用と、ロンドンへの2番目のオフィス開設を計画しています。この組織は、厳密な科学的探求と実用的な革新を通じて、人工知能の分野を前進させることに引き続き取り組んでいます。