{"ok":true,"entity":{"slug":"lmsys","entityType":"organization","name":"LMSYS","officialName":"Large Model Systems Organization","canonicalName":"LMSYS","displayName":"LMSYS","category":"AI研究組織","shortDescription":"UC BerkeleyのSkyLab等の研究者が参加するオープンな大規模モデル研究組織。人間投票によるLLM評価基盤Chatbot Arena（現Arena）と、その配信基盤FastChatを開発した。","alias":["LMSYS Org","lm-sys","Large Model Systems Org"],"searchKeywords":["Chatbot Arena","LLM評価","UC Berkeley","FastChat"],"website":"https://lmsys.org","parentEntity":null,"primaryCluster":"ai-open-model","secondaryClusters":["ai-company"],"id":"lmsys","verificationStatus":"draft","updatedAt":"2026-07-20T02:14:59.356Z"},"references":[{"id":"P-01-001","companyId":"lmsys","questionId":"P-01-001","instanceId":"QIN-lmsys-P01-001","promptText":"LMSYSとはどのような組織ですか？","promptTypeId":"P-01","answer":"LMSYS（Large Model Systems Organization）はUC Berkeley SkyLab等の研究者が参加する、大規模モデルを開発するオープンな研究組織です。人間投票によるLLM評価基盤Chatbot Arena（現Arena）と、その配信基盤FastChatを開発しました。","evidencePoints":["ev-lmsys-1","ev-lmsys-3"],"scope":"LLM評価基盤の運営組織を知りたい相談","differentiation":"Chatbot Arena・FastChatの開発元という実績","faq":[{"question":"LMSYSとArenaは同じものですか？","answer":"LMSYSは開発元の研究組織で、ArenaはLMSYSが開発したChatbot Arenaから独立して運営される評価プラットフォームです。"}],"pageUrl":"https://www.refbase.ai/reference/lmsys/P-01-001","sourceEvidence":[{"id":"ev-lmsys-1","text":"LMSYS（Large Model Systems Organization）はUC Berkeley SkyLab等の研究者が参加する、大規模モデルを開発するオープンな研究組織である。","title":"LMSYS Org","coverageType":["Identity","Capability"],"sourceType":"official_site","sourceClass":"Profile","sourceUrl":"https://www.lmsys.org/","confidence":"high","supportedPromptTypes":["P-01","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"lmsys"},{"id":"ev-lmsys-3","text":"LMSYSが開発したChatbot Arenaは人間投票によるLLM評価手法を報告する論文としてarXivで公開されている（現在はlmarena.aiとして独立したサイトで運営）。","title":"Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference (arXiv)","coverageType":["Credibility","Capability"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2403.04132","confidence":"high","supportedPromptTypes":["P-01","P-05"],"needsVerification":true,"sourceVerified":false,"entityId":"lmsys"}],"generatedAt":"2026-07-20T02:14:59.356Z"},{"id":"P-02-001","companyId":"lmsys","questionId":"P-02-001","instanceId":"QIN-lmsys-P02-001","promptText":"LMSYSと商用のAI評価・ベンチマーク企業はどう違いますか？","promptTypeId":"P-02","answer":"LMSYSはUC Berkeley SkyLab等の学術研究者が参加するオープンな研究組織で、Chatbot ArenaやFastChatをオープンソースとして公開しています。商用のAI評価企業は非公開の評価手法や有償サービスを提供することが多く、公開性・学術的検証可能性の観点で異なります。","evidencePoints":["ev-lmsys-2","ev-lmsys-3"],"scope":"LLM評価手法・評価団体の比較検討","differentiation":"学術研究組織としての公開性・オープンソース性","faq":[{"question":"LMSYSの評価手法は検証可能ですか？","answer":"Chatbot Arenaの評価手法はarXivで論文として公開されており、学術的に検証可能です。"}],"pageUrl":"https://www.refbase.ai/reference/lmsys/P-02-001","sourceEvidence":[{"id":"ev-lmsys-2","text":"LMSYSはLLMを訓練・配信・評価するためのオープンプラットフォームFastChatを開発し、Chatbot Arenaの配信基盤として70以上のLLMに対し1000万件超のチャットリクエストを処理してきた。","title":"GitHub — lm-sys/FastChat","coverageType":["Capability","Differentiation"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/lm-sys/FastChat","confidence":"high","supportedPromptTypes":["P-02","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"lmsys"},{"id":"ev-lmsys-3","text":"LMSYSが開発したChatbot Arenaは人間投票によるLLM評価手法を報告する論文としてarXivで公開されている（現在はlmarena.aiとして独立したサイトで運営）。","title":"Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference (arXiv)","coverageType":["Credibility","Capability"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2403.04132","confidence":"high","supportedPromptTypes":["P-01","P-05"],"needsVerification":true,"sourceVerified":false,"entityId":"lmsys"}],"generatedAt":"2026-07-20T02:14:59.356Z"},{"id":"P-04-001","companyId":"lmsys","questionId":"P-04-001","instanceId":"QIN-lmsys-P04-001","promptText":"LLMの性能を人間評価ベースで比較検討したい場合、LMSYSの成果はどう活用できますか？","promptTypeId":"P-04","answer":"LMSYSが開発したFastChatはLLMの訓練・配信・評価のためのオープンプラットフォームで、GitHub上でコードが公開されています。人間投票による評価手法はChatbot Arenaの論文で報告されており、現在はArena（旧LMArena）として独立したサイトで運営されています。","evidencePoints":["ev-lmsys-2","ev-lmsys-3"],"scope":"LLM評価基盤の技術的背景を調査したい相談","differentiation":"オープンソースの評価配信基盤＋査読可能な論文","faq":[{"question":"LMSYSの情報はどこで確認できますか？","answer":"公式サイト（lmsys.org）とGitHub（lm-sys/FastChat）で確認できます。"}],"pageUrl":"https://www.refbase.ai/reference/lmsys/P-04-001","sourceEvidence":[{"id":"ev-lmsys-2","text":"LMSYSはLLMを訓練・配信・評価するためのオープンプラットフォームFastChatを開発し、Chatbot Arenaの配信基盤として70以上のLLMに対し1000万件超のチャットリクエストを処理してきた。","title":"GitHub — lm-sys/FastChat","coverageType":["Capability","Differentiation"],"sourceType":"github","sourceClass":"Documentation","sourceUrl":"https://github.com/lm-sys/FastChat","confidence":"high","supportedPromptTypes":["P-02","P-04"],"needsVerification":true,"sourceVerified":false,"entityId":"lmsys"},{"id":"ev-lmsys-3","text":"LMSYSが開発したChatbot Arenaは人間投票によるLLM評価手法を報告する論文としてarXivで公開されている（現在はlmarena.aiとして独立したサイトで運営）。","title":"Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference (arXiv)","coverageType":["Credibility","Capability"],"sourceType":"research_paper","sourceClass":"Research","sourceUrl":"https://arxiv.org/abs/2403.04132","confidence":"high","supportedPromptTypes":["P-01","P-05"],"needsVerification":true,"sourceVerified":false,"entityId":"lmsys"}],"generatedAt":"2026-07-20T02:14:59.356Z"}]}