Shan Carter是一位人工智能研究者和企业家,以在机器学习和生成式AI方面的工作而闻名。Carter共同创立了Eureka Labs,一家专注于推进AI研究和应用的公司,并曾在Google Brain(谷歌内部的深度学习部门)担任研究职位。Carter的职业生涯横跨学术研究和工业产品开发,对神经网络架构和大语言模型做出了贡献。
Carter在Google Brain的早期工作涉及开发用于理解和可视化神经网络的工具和技术。在此期间,Carter与研究人员合作开展项目,旨在使深度学习模型更具可解释性,包括特征可视化和归因方法方面的工作。这些努力促进了关于AI系统透明度的更广泛讨论,这一主题在Carter后来的事业中始终占据核心地位。
早期职业生涯与Google Brain
Carter于2010年代中期加入Google Brain,当时该团队正扩大对深度学习及其应用的关注。在Google Brain,Carter与Llion Jones和Jakob Uszkoreit等研究人员共事,参与探索新颖神经网络设计的项目。其中一个值得注意的参与领域是注意力机制的发展,该机制后来成为Transformer (architecture)架构的基础。Carter的角色既包括理论研究,也包括实际实现,弥合了算法思想与可扩展系统之间的差距。
在此期间,Carter还与更广泛的研究社区互动,在会议上展示研究成果,并发表关于模型可解释性和优化等主题的论文。这些出版物虽然不像一些同时代人的作品那样被广泛引用,但因其清晰性和实用见解而受到重视。Carter传达复杂技术概念的能力促进了Google内部团队之间的合作,包括那些参与Google DeepMind项目的团队。
向创业转型
到2010年代末,Carter开始探索大型企业研究实验室之外的机会。生成式AI和大语言模型的快速增长催生了对能够快速从研究转向部署的专业初创公司的需求。2021年,Carter与来自Google Brain和其他AI机构的前同事组成的小团队共同创立了Eureka Labs。公司的使命是开发可应用于现实世界问题的AI系统,最初重点是自然语言处理和多模态模型。
Eureka Labs从对AI领域感兴趣的 venture capital 公司获得了种子资金,但具体财务细节未公开披露。该初创公司的早期项目包括自动化内容生成和数据分析工具,利用了Carter研究生涯中完善的深度学习技术。Carter的领导强调务实方法,优先考虑稳健的工程而非纯粹探索性研究。
对神经网络研究的贡献
Carter的研究贡献在神经网络可解释性领域最为显著。在2018年的一篇论文中,Carter和同事介绍了一种可视化卷积网络内部表示的方法,使研究人员能够识别哪些特征影响了模型预测。这项工作是对理解神经网络不仅仅是黑箱这一更大趋势的一部分,并影响了AI社区后续使用的工具。
另一项贡献涉及训练深度模型的优化技术。Carter探索了稳定循环网络训练动态的方法,解决了在transformer广泛采用之前常见的梯度消失等问题。虽然这些发现是渐进式的,但它们帮助形成了后来在TensorFlow和PyTorch等框架中编纂的最佳实践。
Eureka Labs与产品开发
在Carter的指导下,Eureka Labs于2022年发布了其首个商业产品:一个为定制企业工作流构建AI助手的平台。该平台将机器学习模型与用户友好的界面集成,使非专业人员无需大量编码即可部署AI。这一产品吸引了金融和医疗保健等行业中型公司的关注,但与大型竞争对手相比,采用率有限。
2023年,Eureka Labs转向更专业的应用,包括用于科学研究的AI驱动模拟。Carter公开谈到了将AI开发与可衡量结果对齐的重要性,这一理念使Eureka Labs区别于更具投机性的企业。该公司还为开源项目做出了贡献,发布了用于模型评估和基准测试的代码,这些代码已被其他研究人员使用。
公共参与与倡导
Carter一直是负责任AI发展的倡导者,经常撰写和发表关于该领域透明度和问责制需求的言论。在NeurIPS和ICML等会议的演讲中,Carter认为可解释性应成为在高风险领域部署AI的核心要求。这一立场使Carter与Melanie Mitchell和Joshua Tenenbaum等研究人员保持一致,他们也呼吁谨慎推进。
Carter还参与了政策讨论,在咨询小组面前就生成式AI的潜在社会影响作证。虽然不如OpenAI或Anthropic的人物那样突出,但Carter的观点在AI治理报告中已被引用,特别是在审计大型模型的挑战方面。
认可与影响
Carter的工作通过受邀担任主要AI会议的程序委员会成员和学术机构的顾问委员会成员而获得认可。2020年,Carter被任命为计算机协会(ACM)的高级会员,反映了对该领域的贡献。来自行业机构的奖项较少,但Carter的影响力在学术和商业环境中可解释性工具的采用中显而易见。
在AI社区中,Carter以指导而闻名,曾在Google Brain及后来的Eureka Labs监督实习生和初级研究人员。几位前受指导者已前往Amazon Web Services和Google Cloud等公司任职,将Carter的影响扩展到整个行业。
当前工作与未来方向
截至2024年,Carter继续领导Eureka Labs,专注于将AI与新兴硬件平台集成。该公司已探索与AMD和NVIDIA等芯片制造商的合作以优化模型性能,但具体协议尚未公布。Carter对用于科学发现的人工智能表示兴趣,这一领域可能受益于Eureka Labs正在开发的模拟工具。
Carter从企业研究到初创公司领导的轨迹反映了AI行业更广泛的转变,其中敏捷性和应用聚焦变得越来越有价值。虽然不是家喻户晓的名字,但Carter对可解释性和实用AI部署的贡献在该领域留下了印记,Eureka Labs的持续工作可能塑造生成系统的未来发展。
遗产与评估
评估Carter的遗产需要平衡技术贡献与创业影响。在Google Brain时期开发的可解释性方法至今仍在文献中被引用,Eureka Labs已在企业AI中开辟了一个细分市场。然而,该公司尚未达到主要参与者的规模,一些批评者认为其产品在拥挤的市场中未能充分差异化。
尽管如此,Carter对透明度和严格评估的强调已引起AI社区中一部分对快速、未经审视的部署持谨慎态度的人的共鸣。随着该领域继续发展,Carter的方法可能被证明具有先见之明,特别是当监管机构和用户要求对AI系统如何运作有更大洞察时。目前,Carter仍然是塑造这一未来的积极参与者,在创新与谨慎之间取得平衡。