促成栽培AI

 ソフトバンクの孫正義社長と米国OpenAIのサム・アルトマンCEOのイベントを伝える記事。英国Armのレネ・ハースCEOも登場するなど、まるで「ソフトバンク一座旗揚げ公演」とか言ったら怒られるかなぁ(笑)。実際どれだけの話が実現するかわからないけれど、1/10としてもかなり大きな話。

記事の中で「へぇ～、そうなんだ」と思ったのが、今のLLMには「長期記憶」が実装されていないという話。私は漠然とした形で、いろいろ学習した内容は時々は整理されて参照情報みたいな形で保存されているんだと思ったけれど、そう単純な話ではないのかな。考えてみたら、LLMからみたらそれは何万何千という利用者から質問されて回答した雑多な知識検索の結果であるから、「記憶」として保存しても雑音にしか見えないのかもしれない。ここで言う「長期気温」とは、そのユーザーごとに過去の履歴や結果を保存して、重み付けをして将来必要ならば再利用したり再参照したりという目的に活用できる仕組みなんだろうな。

将来的には変わるだろうけど、今の生成AIの本体はクラウドにあるから、すべてクラウドに保管すると連携は簡単だろうけど、実行速度的にはどうなんだろうか。生成AIのエンジンがクラウドにあってもよいけれど、「記憶」だとか「推論ルール」とか「想定条件」みたいな、実際に自分の考えや行動を決める大きな要因データに関してはローカルに持っていて、それをどんどん更新していくような仕組みが必要じゃないかなぁ。まぁ、そうなると生成AIのエンジンもそこに載らないと、パフォーマンス的に無理があるだろうから、やっぱり高性能で超小型の情報処理装置の提供がまずは「肝」になるのかな。

「長期記憶」と言っても、何でもかんでも「記憶」として保存すればよいわけではなくて、その記憶データとそのデータに関連付けする「きっかけ」みたいなものをどのように処理するかが重要なんでしょうね。いわゆる「閃く」という行為が生まれるような、いつもはデータバンクの奥にあるんだけれど、あるキーワードーに対してその紐付けされた「きっかけ」が見つかり、奥から引っ張り出せるような仕組み。どのデータを優先して残していくかというアルゴリズムと、そのデータと将来「思い出す」ためのきっかけとなる、一種のインデックス作りがかなり有機的な仕組みにしないと実現は難しそう。単純に乱数みたいな形で優劣つけては無意味だし。多分人間の場合は、生まれたときからの様々行動や考え方を通じて、自分の「思考プログラム」みたいなものが自然に形成されて、それが大人になってバックグラウンド処理的に動作するんだろうから、そのタイムギャップをどう埋めていくかが大変そう。クラウド上に「仮想人格」を作って、そこで最初にパラメーターを与えて時間を加速させて、自分なりの「思考プログラム」を作るとか。なんか、促成栽培の軽薄なAIができそうでちょっと嫌かも(笑)。