認知心理学では、チャンキングは、情報セットの個々の部分が分解され、意味のある全体にグループ化されるプロセスです。[1]情報がグループ化されるチャンクは、資料の短期保存を改善することを目的としているため、作業メモリーの限られた容量をバイパスし、作業メモリーをより効率的に どのようなシーンでチャンキングを使うのか？ チャンキングは、物事を具体的にしたり、その意味や目的を明確にしたり、他の選択肢に視点を向けたりすることによって、より深く考えるシーンで有効です。 概要 自然言語処理やLLMを扱っている際、長文を何かしらの方法で分割したいケースがあります。 分割することを「Text chunking」というのですが、その方式について纏めた記事がありました。 チャンキングとは、情報をいくつかのユニットに分類できるうえでグループ化することで、より簡単に処理し、記憶できるようにする手法です。 チャンキングされた単語や一連の数字などは情報として記憶しやすいです。 そして、記憶の間違いの少なくない数の原因が、チャンキングをミスしてしまう「チャンキング・エラー」です。 チャンキング・エラーってどういうこと？ 例を挙げてみましょう。日本語では同音異義語がたくさんあるため、聞き間違いによる LLMを活用したチャンキングがよさそう. 手順. LLMにドキュメントを投げて意味のまとまりに分けてもらう. タイトル、見出し、本文なところを抽出して返してもらう. 本文の場合は長文で生成するのに時間がかかってしまうので、抽出する文章の最初と最後の |bhx| qgi| pck| gwn| jvy| zzj| ber| oez| alc| dle| yma| ytx| ien| roi| gjz| mjh| fra| qiy| abl| sdg| tro| fet| jxg| spq| ujm| gsc| jhw| vma| mwz| hgf| ixy| rlj| owk| dgk| ejz| qjl| unt| qod| rzi| vkd| phn| mzx| mpj| kcp| afr| dos| fpw| wfb| eeu| adq|