LLMでデータを拡張・増量させる

LLM (Stable LM 3B)でデータを拡張+増量させるスクリプトのデモをYouTubeにアップロードしました。 何のために役に立つかと言いますと、例えばウェブクローラーでAと言うクエリがあるとします。 今まではウェブやデータベースに接続しないとAの関連事項、関連記事、関連語などがありませんでしたが、LLMでオフラインで単語の拡張+関連したデータを付属させ、関連させながら増量する事が可能になった訳です。
特に、研究開発等、第三者にクエリが漏れたりするのがだめな場合に役に立つ技術となっています。
デモではfile.txtと言うテキストファイルからランダムな一行をLLMに入力してデータを拡張・増量させて出力させています。

コメント