LMSYS

Identity

• LMSYS（Large Model Systems Organization）はUC Berkeley SkyLab等の研究者が参加する、大規模モデルを開発するオープンな研究組織である。検証待ち LMSYS Org

Capability

• LMSYS（Large Model Systems Organization）はUC Berkeley SkyLab等の研究者が参加する、大規模モデルを開発するオープンな研究組織である。検証待ち LMSYS Org
• LMSYSはLLMを訓練・配信・評価するためのオープンプラットフォームFastChatを開発し、Chatbot Arenaの配信基盤として70以上のLLMに対し1000万件超のチャットリクエストを処理してきた。検証待ち GitHub — lm-sys/FastChat
• LMSYSが開発したChatbot Arenaは人間投票によるLLM評価手法を報告する論文としてarXivで公開されている（現在はlmarena.aiとして独立したサイトで運営）。検証待ち Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference (arXiv)

Credibility

• LMSYSが開発したChatbot Arenaは人間投票によるLLM評価手法を報告する論文としてarXivで公開されている（現在はlmarena.aiとして独立したサイトで運営）。検証待ち Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference (arXiv)
• TechCrunch（2026年1月6日）は、LMSYSが開発したChatbot Arenaの後継組織が、2025年5月の1億ドルシード（評価額6億ドル）に続き2026年1月に1億5000万ドルのシリーズA（評価額17億ドル）を実施し、7ヶ月で合計約2.5億ドルを調達してユニコーンとなったことを報じている。検証待ち LMArena lands $1.7B valuation four months after launching its product
• Arena公式ブログの反論記事によると、「The Leaderboard Illusion」論文の『オープンモデルは8.8%』主張に対し実際は40.9%と反論、『事前テストで100ポイント以上上昇』の主張には根拠となるプロットが架空のシミュレーションであり実際の効果は約+11 Eloにとどまると説明している。検証待ち LMArena Response to "The Leaderboard Illusion" Writeup

Use Case

公開Evidence未整備

Constraints / Current Status

• LMSYSはLLMを訓練・配信・評価するためのオープンプラットフォームFastChatを開発し、Chatbot Arenaの配信基盤として70以上のLLMに対し1000万件超のチャットリクエストを処理してきた。検証待ち GitHub — lm-sys/FastChat
• arXiv論文『The Leaderboard Illusion』（Singh et al., 2025年4月29日提出）は、Chatbot Arenaにおいて大手ベンダーが非公開プライベートテストで選択的にスコアを公開できる点、GoogleとOpenAIが評価データの約19〜20％ずつを占める一方オープンウェイト83モデル合計でも29.7％にとどまる偏り、Arenaデータへのアクセスが最大112％の相対的性能向上をもたらす過学習インセンティブを指摘している。検証待ち The Leaderboard Illusion

Key References

• LMSYS（現Arena）は「The Leaderboard Illusion」論文が指摘した批判に対して、公式にどう反論していますか？
• LMSYSとはどのような組織ですか？
• LMSYSが開発したChatbot Arenaは、その後どのように資金調達を行い企業として成長しましたか？

Related

• Arena— LMSYSはChatbot Arena（現Arena）を開発した研究組織である（開発元関係。LMSYSは研究組織のためproductOfの型規則対象外）。
• SGLang— SGLangはLMSYSに関わる研究者を含むチームによって開発された経緯があり、系譜上の関連がある。