Kristijan Armeni氏、Marko Pranjić氏、Senja Pollak氏による論文『Transformer verbatim in-context retrieval across time and scale』（2024年Conference on Natural Language Learningに採択、2024年11月11日提出）は、EleutherAIが公開したPythiaスイートの14M・31M・70M・160M・410M・1B・6.9B・12Bパラメータの各モデルについて、学習過程の18の異なるチェックポイントを用いて、モデルが文脈中の情報を逐語的に検索する能力がいつ獲得されるかを分析しました。その結果、この能力は学習トークン数のわずか5%未満（多くのモデルで約4Bトークン）を消費した時点で急激に立ち上がることを発見しています。これはEleutherAI自身ではなく独立した研究者による、Pythiaの公開チェックポイントを活用した第三者研究の例です。