Hi, I'm Ask INFA!
What would you like to know?
ASK INFAPreview
Please to access Ask INFA.

目次

Search

  1. はじめに
  2. トランスフォーメーション
  3. ソーストランスフォーメーション
  4. ターゲットトランスフォーメーション
  5. アクセスポリシートランスフォーメーション
  6. アグリゲータトランスフォーメーション
  7. B2Bトランスフォーメーション
  8. チャンキングトランスフォーメーション
  9. クレンジングトランスフォーメーション
  10. データマスキングトランスフォーメーション
  11. データサービストランスフォーメーション
  12. 重複排除トランスフォーメーション
  13. 式トランスフォーメーション
  14. フィルタトランスフォーメーション
  15. 階層ビルダートランスフォーメーション
  16. 階層パーサートランスフォーメーション
  17. 階層プロセッサトランスフォーメーション
  18. 入力トランスフォーメーション
  19. Javaトランスフォーメーション
  20. JavaトランスフォーメーションAPIリファレンス
  21. ジョイナトランスフォーメーション
  22. ラベラトランスフォーメーション
  23. ルックアップトランスフォーメーション
  24. 機械学習トランスフォーメーション
  25. マップレットトランスフォーメーション
  26. ノーマライザトランスフォーメーション
  27. 出力トランスフォーメーション
  28. 解析トランスフォーメーション
  29. Pythonトランスフォーメーション
  30. ランクトランスフォーメーション
  31. ルータトランスフォーメーション
  32. ルール仕様トランスフォーメーション
  33. シーケンストランスフォーメーション
  34. ソータートランスフォーメーション
  35. SQLトランスフォーメーション
  36. 構造パーサートランスフォーメーション
  37. トランザクション制御トランスフォーメーション
  38. 共有体トランスフォーメーション
  39. ベクトル埋め込みトランスフォーメーション
  40. Velocityトランスフォーメーション
  41. ベリファイヤトランスフォーメーション
  42. Webサービストランスフォーメーション

トランスフォーメーション

トランスフォーメーション

チャンキングトランスフォーメーション

チャンキングトランスフォーメーション

詳細モードでは、チャンキングトランスフォーメーションによって、テキストを分割して効率的な形式に変換することで、自然言語処理(NLP)と検索拡張生成(RAG)の有効性が向上します。トランスフォーメーションは、大きなテキストを小さなセグメントまたはチャンクに分割し、テキストを処理して、ベクトル埋め込みのためにデータをよりクリーンで、意味的により一貫性のあるものにします。
チャンキングトランスフォーメーションからの出力をベクトル埋め込みトランスフォーメーションに渡して、テキストのベクトル埋め込みを作成できます。チャンキングトランスフォーメーションにより、ターゲットトランスフォーメーションが埋め込みとメタデータをベクトルデータベースに書き込む前に、コンテンツの関連性を高めることができます。詳細については、「ベクトル埋め込みトランスフォーメーション」を参照してください。
チャンキングトランスフォーメーションは、AWSのサーバーレスランタイム環境やGPU上では実行できません。トランスフォーメーションがGPU対応クラスタで実行される場合、GPUは無効になり、トランスフォーメーションはCPUを消費します。