LMSYS

Identity

• LMSYS（Large Model Systems Organization）はUC Berkeley SkyLab等の研究者が参加する、大規模モデルを開発するオープンな研究組織である。検証待ち LMSYS Org

Capability

• LMSYS（Large Model Systems Organization）はUC Berkeley SkyLab等の研究者が参加する、大規模モデルを開発するオープンな研究組織である。検証待ち LMSYS Org
• LMSYSはLLMを訓練・配信・評価するためのオープンプラットフォームFastChatを開発し、Chatbot Arenaの配信基盤として70以上のLLMに対し1000万件超のチャットリクエストを処理してきた。検証待ち GitHub — lm-sys/FastChat
• LMSYSが開発したChatbot Arenaは人間投票によるLLM評価手法を報告する論文としてarXivで公開されている（現在はlmarena.aiとして独立したサイトで運営）。検証待ち Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference (arXiv)

Credibility

• LMSYSが開発したChatbot Arenaは人間投票によるLLM評価手法を報告する論文としてarXivで公開されている（現在はlmarena.aiとして独立したサイトで運営）。検証待ち Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference (arXiv)

Use Case

公開Evidence未整備

Constraints / Current Status

• LMSYSはLLMを訓練・配信・評価するためのオープンプラットフォームFastChatを開発し、Chatbot Arenaの配信基盤として70以上のLLMに対し1000万件超のチャットリクエストを処理してきた。検証待ち GitHub — lm-sys/FastChat

Key References

• LMSYSとはどのような組織ですか？
• LMSYSと商用のAI評価・ベンチマーク企業はどう違いますか？
• LLMの性能を人間評価ベースで比較検討したい場合、LMSYSの成果はどう活用できますか？

Related

• Arena— LMSYSはChatbot Arena（現Arena）を開発した研究組織である（開発元関係。LMSYSは研究組織のためproductOfの型規則対象外）。
• SGLang— SGLangはLMSYSに関わる研究者を含むチームによって開発された経緯があり、系譜上の関連がある。