大規模言語モデル（LLMs：Large Language Models）を皆さん使っておられますか。自分はとても便利に使っております。LLMsと対話をすると、忘れがちな事を思い出させてくれたり、少し変化球は発想を得る、自然な英語のチューニング、などになくてはならない相棒になっています。
大規模言語モデル（LLMs）の一つ、GPT-3〜GPT-4を組み込んだchatGPTが非常に人間らしい答えを書いてくれる時代になりました。私の文章も、GPTを一度通したほうが普通の文章になってくれる。すっかり人工知能に頼った生活になっており、知性とは何なのかという問題にもう一度突き当たります。
LLMsの成果物としては、openAI社の開発したGPTが一歩リードしていると言えます。GPT-2はパラメーター数が2億（40GB）、GPT-3は1750億（45TB）、GPT-3.5は3550億（45TB以上）、GPT-4は当然それ以上のデータ量です。現在私はGPT-3.5あるいはGPT-4を使っています。チューニング次第ですが人間の知性を越えたと言って間違いありません。
急激に進化したLLMsですが、以下のブログでその性質について書かれています。
https://ai.googleblog.com/2022/11/characterizing-emergent-phenomena-in.html
このグラフはどのLLMsでもトレーニングに使用された浮動小数点演算の回数が10²⁴FLOPsを超えると、急激に頭が良くなる事を示しています。これはサルがヒトになった瞬間を示しているように思われます。
そしてある程度頭が良くなったLLMsに「結果だけじゃなくてどう考えたのかも生成せよ」と命令すると、一気に頭が良くなるのだそうです。「chain-of-thought prompting（思考の連鎖プロンプティング）」と言うものです。言語モデルに対して与えられる特定のプロンプト形式の一つで、言語モデルに対して最終的な答えを出す前に、一連の中間ステップや思考過程を生成させるように指示するのだそうです。
これも結果だけを求める人と、その途中をきちんと考える人での能力の差を示しているようでとても面白いですね！
人間の脳はGPT-3.5よりも遥かに少ない2TBぐらいのデータ量だとされています。むしろこれだけコンパクトでしかも1時間あたりの消費カロリーがせいぜい100Kcal（だいたい消費電力が116Wのコンピューターだと計算できます）なのに、難しい思考が出来るのが優れた特徴だと言えます。もはや自分の中ではLLMsについては精度より消費電力やコンパクトさをどう改善するかという局面に入ったようにも見えています。実際上記ブログでも現在のように大量の電力やリソースを使わずに、効率的に出来ないか、という事が最先端の研究事項になっていると書かれています。
LLMsがここまで人間らしい事を逆に考えると、LLMsが予測能力だけでここまで進化した事から、「知性とは将来の予測である」（エマージェント能力）と定義しても良さそうに思います。知識の量ではなくて。
ハーバート・サイモン：義塾を訪れた外国人｜義塾を訪れた外国人｜三田評論ONLINE
なんとなくそう思っただけなんですけれど。そして大切なことですが、人間の知性もLLMsの知性もハーバート・サイモンが提唱した「限定合理性」という概念に従うように見えます。
人間が持っている情報には制限があるために、常に最適な選択をすることができないという内容です。もちろんコンピューターも。
サイモンはこの「合理性の限界」の理由として3つ挙げました。
- 知識の不完全性（すべての情報を持っているわけではない）
- 予測の困難性（未来はどう動くかわからない）
- 行動の可能性の範囲（知性ではすべての可能性を列挙出来ない：まさにいつも自分が悩んでいるところで、すべての可能性を網羅したのか除外診断は、といつも悩んでいる部分。少なくとも高校程度の数学では悩むことはなかったのですが）
そして、人間と全く同じ欠点をLLMsも持っているのです。ただし情報量は膨大ですが。
サイモン曰く理想的な知性とは、行動する主体が、
- 選択の前に行動の代替的選択肢をパノラマのように概観：普通の人間にはこれはできない。多くのパターンを思いつける想像力ある人ほど頭は良い。この想像力の限界を「行動可能性の範囲」とサイモンは言っている。
- 個々の選択に続いて起こる諸結果の複合体全体を考慮：もたらす複数の結果についても最大限予測はしておくべきであるけれど、サイモン曰く「予測の困難性」により完全な実現は不可能に見える。
- 全ての代替的選択肢から一つを選び出す基準としての価値システムを用いる：すべての可能性を吟味し将来予測した上で、その時の感情に流されずに一定のパターンで判断することだが、ところが人間はその時の気分で選択を間違えることが多い。
の条件を満たし、みずからの全ての行動を統合されたパターンへと形成すること、としました。うん、不可能だ。しかもつまらない。
LLMsを人間の補助として使う
LLMsは可能性の列挙という部分でほとんどの人々の能力を超えていますが、知識の不完全性という特徴は変わりません。多くの人にとっては「このぐらいは考慮すれば上等だ」程度の答えを列挙してくれるLLMsは大変に有用で、多くの選択肢から選ぶという作業を使用者は新鮮な気持ちで経験するかもしれません。もちろんLLMsを超える想像力を持つ優れた人は確実にいますが、彼らにとってもLLMsは補助として優秀でしょう。
高校、大学（学士）までの勉強は「知識をつける＝想像力を広げる」という部分が重要視されていると思います。そして19世紀20世紀21世紀とだんだん学ぶ時間が多くなってしまっています。知識が十分でない人が行う選択や決断はしばしば間違ってしまうので端折ることも難しい。
では中高大学での学習が即実社会に役立つのかと言うと、実社会に出ると「選択する」「決断する」という作業が重視されます。大学院（修士）以上の勉強ではそのトレーニングは行われますね。デトロイトにいたころ、たまたまミシガン大学のMBA（経営学修士）に留学している日本人と話し、「MBAってなんなの？」と聞いたとき彼は「決断する練習だよ」と説明してくれました。それは本質だろうと思います。医学部も修士相当ですので同様です。重要なのは決断なのです。
選択をしたり決断をするには、まず十分な知識が必要です。この部分をLLMsが少しサポートしてくれるならば、さらに決断した結果を想像する（未来は広がっていくのでさらに難しい作業です）とか、決断時の心の動きが再現できる（ぶれない心です。難しいですよ）ようにトレーニングすることを、若い人でも可能にするかもしれません。
現在の教育では「十分な知識」をつけるのに時間がかかりすぎています。しかしLLMsの登場で知識部分を補助してくれるとなれば、今までは高校までの年齢ではごく一部の優秀な人しか行っていなかった「選択」や「決断」という脳内での作業を、誰でも100年前200年前のように当たり前に行うようになるかもしれません。
LLMsはこのように人間に変化をもたらすかもしれないなあ、などと思って自分は楽しみにしているのです。
