論文 「LLMs Corrupt Your Documents When You Delegate」 は、生成AIに長い作業を任せたとき、文書やファイルの内容がどの程度正しく保たれるのかを調べた研究です。今回は前編からの続きで、「生成AIの対応策」について書いていきます。
生成AIに任せるときの実務チェックポイント
1. 丸投げしない
生成AIにすべてを任せるのではなく、下書き、整理、変換、案出しなど、役割を分けて使うことが大切です。多くことを一気に任せれば任せるほど、チェックは大変になりますが、役割を分けて任せていって、あとでまとめると上手くいく確率はあがります。
2. 元データを必ず残す
AIに編集させる前のファイルは、必ず保存しておくべきです。AIが内容を変えてしまったとき、元に戻せる状態を作っておく必要があります。
3. 長い文書は分けて扱う
長い資料を一度に渡すと、情報の抜けや誤変換が起きやすくなります。しかも、何度も修正してもらおうとすると、関係ない部分まで誤変換してしまうこともありますので要注意です。章ごと、表ごと、項目ごとに分けて扱うほうが安全です。これは、PDFなどの資料を作る場合も同様です。セクション分けをするなどの工夫は必要だと思いますし、私はそのほうが“成功率（≒完成度）”は高いです。
4. 不要な資料を混ぜない
AIに渡す資料は、作業に必要なものに絞ります。これは、あるあるなのですが、「念のため全部渡す」ということはしないほうが良いです。かえって間違いの原因になります。AIに気遣って（？）、あれもこれも資料を渡してしまう親切心からくる行為は、人に同じことをして頭の中を混乱させてしまうのと同じだと思ったほうが良いでしょう。
あと「できればこれを」とか「必要ならこれを」とか、そのような表現も混乱のもとになるかと思います。あくまで経験則ですが、上手くいった試しはありません。
5. 変更点を人間が確認する
AIに編集させた後は、完成物だけを見るのではなく、「どこが変わったか」を確認することが大切です。とりわけ、数値、固有名詞、日付、条件、金額、契約内容は人間が確認すべきです。また、引用元を明記させるのも良いです。
＜まとめ＞生成AIは優秀。でも「確認なし」ではダメ
この論文が示しているポイントは、生成AIが使えないという話ではありません。むしろ、生成AIはとても便利で、今後の仕事に欠かせない存在になっていきますので、進化の過程としてとらえるべきでしょう。
ですが、現時点の生成AIには、長い作業を任せると文書を少しずつ壊してしまう弱点があります。とりわけ、作業回数が増える、文書が長い、余計な資料が混ざる、分野が専門的になる、といった条件では注意が必要です。論文の結論でも、現在のLLMは長い委任作業において信頼性に課題があり、文書の長さ、やり取りの長さ、不要な文脈によって劣化が悪化し、基本的なツール利用でも解消されなかったとまとめられています。
生成AIは、仕事を速くする便利な道具（補助役）です。ですが、最後の確認責任までAIに渡してはいけません。
これからのAI活用で大切なのは、「AIに任せる力」ではなく、「AIの結果を確認しながら使う力」です。今後、AIの台頭によってなくなる仕事があるかと思いますが、確認という作業においては、むしろ人の手が必要になるので、その仕事は増えていくのかもしれませんね。
