Generative AI の利用について

ここではモデル開発という文脈での Generative AI の利用方法について書いています。

LLM の説明を読むと、大量の文書他を学習し、ある単語の次に出現する可能性の高い単語を順次つないで行くことでテキスト生成を行なっている、というようなことが書かれています。

だとすると、このようなことが言えないでしょうか？　学習に使われた文書というのは、過去に書かれた新聞・雑誌・Web の記事や論文などだと思いますが、その範囲内で「次に出現する可能性の高い単語」を探しても、既に知られている範囲の（知識）単語しか出てこない、つまり「全く新しい発想のようなものはまず得られない」と言えるような気がします。

しかし、逆目線でのメリットがあります。人は何かに集中するときどうしても視野が狭くなりがちです。Generative AI は、その視野から外れてしまったものを、過去の知識・常識で補ってくれる可能性があるからです。何かについて質問して、幾つもの項目が返ってくるというのは、そういうことのような気がします。

私は AI の研究者ではありませんし、モデリングに関連した話題では、これ以上のこと（特に二つ目のポイントについて）をやってくれているのも体験もしています。AI のご専門の方から「そんな単純な話ではない」というご指摘があるとは思います。それでも、利用者として試行錯誤することで経験を積み重ねることはできます。

結論としては、アカデミックな話ではありませんが、こういう文脈で、こういう使い方をすれば、こういう結果が期待できる、という知識を蓄積してゆき、必要に応じてそこから使い方を取捨選択し利用する、というのが当面の実用的な Generative AI の利用方法ではないかと感じています。ご意見等をコメントでいただけると幸いです。

なお、こういった知識ベースを自作し、サービスとして提供するというビジネス形態もありそうです。コンサル会社のようなところではもうやっているのかもしれません。