RAGで使用するPDFの前処理を検証（PDF→マークダウン形式） 🔖 134

内容 Amazon Bedrockを使用したRAGシステムを構築します。ベクトルDBに情報を保存する際、事前に適切な形へチャンク分割を行い、回答精度を高めたいと思います。下記の記事ではHTMLファイルの前処理の検証について記載しましたが、今回はPDFファイルの前処理について記載を

RAGで使用するPDFの前処理を検証（PDF→マークダウン形式） 🔖 134

内容Amazon Bedrockを使用したRAGシステムを構築します。ベクトルDBに情報を保存する際、事前に適切な形へチャンク分割を行い、回答精度を高めたいと思います。下記の記事ではHTMLファイ…

横浜市がRAG導入を検証　実証で分かった「できるコト」「苦手なコト」 🔖 29

NTT東日本神奈川事業部は2025年4月18日、横浜市が実施した生成AIに関する検索拡張生成（RAG）実証の成果を公表した。2024年11月から2025年3月にかけて横浜市が実施したもので、NTT東日本神奈川事業部が技術・運用面での支援した。 横浜市のRAG実証、もたらした成果は

BedrockのRAGチャットに「出典はどこ？」を追加 🔖 1

内容Amazon Bedrockのナレッジベースを活用し、RAG（Retrieval-Augmented Generation）システムを構築します。Streamlitを用いたチャットアプリケーシ…

RAGの検索精度を上げる 新しいリランキング手法 🔖 71

本記事では、RAGの性能を高めるための「REBEL」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、RAGの新手法である「REBEL」の論文[1]について、日本語で簡単

RAGの検索精度を上げる 新しいリランキング手法 🔖 71

本記事では、RAGの性能を高めるための「REBEL」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何この記事は、RAGの新手法である「REBEL」の論文[1]について、日本語で

RAG精度向上を目指したCRAGコンペ上位解法の紹介 🔖 2

TL;DR RAGの精度を競うCRAG Comprehensive RAG Benchmark Challenge(CRAGコンペ)がKDDCUP 2024にて開催されました。 CRAGコンペの上位1-3位チームの解法を紹介します。 はじめに NTTドコモ クロステック開発部 鈴

Snowflake リソースの Terragrunt 管理方法を改めた話 🔖 2

はじめにこんにちは！シンプルフォームの山岸です。当社では2024年6月に Snowflake 導入を決定し、データ基盤を従来利用してきた Amazon Redshift から移行しました。検証着手当時、トライアルアカウントを開設して最初に取り組んだことは、IaC 管理方法を設

オレオレ RAG をさくっと作る 🔖 335

この記事は間違いが含まれている可能性があります。 もともと自社のドキュメントでは Meilisearch で日本語全文検索を実現していましたが、ドキュメントに質問できるようしたいと思い、簡単な RAG を作りたい！と思っていました。 色々調べたところなんとなくこんな感じでできそう

MCP + DB ＞ RAG? 🔖 190

RAGの限界性 RAG、つまり検索強化生成（Retrieval-Augmented Generation）は、現在の大規模言語モデル分野における注目の方向性です。これは情報検索技術と生成モデルを組み合わせ、大規模モデルの知識の正確性、文脈理解、最新情報の活用などの課題を解決します

RAGを構築してもうまくいかない時にまず調べること:それはチャンク戦略だ！ 🔖 1

こんにちは。D2Cのデータサイエンティスト（AIエンジニア）の須田です。「どのテーブルを使えばいいかわからない…」社内データ活用の現場でよく聞くそんな声に応えるため、自然言語で質問するだけで、社内データベースから必要な情報を探し、SQLまで生成してくれるAIツール「Kibi

MCP + DB ＞ RAG? 🔖 190

RAGの限界性RAG、つまり検索強化生成（Retrieval-Augmented Generation）は、現在の大規模言語モデル分野における注目の方向性です。これは情報検索技術と生成モデルを組み合わせ、大規模モデルの知識の正確性、文脈理解、最新情報の活用などの課題を解決し

Google WorkspaceでRAG実装 🔖 1

1. はじめに社内には大量のドキュメントが存在し、多くの社員が必要な情報を探すのに時間を浪費しているケースはありませんか？こうした問題を解決するために、大規模言語モデル（LLM） を活用して社内…

RAGで文書を圧縮して速度を５倍にする手法 🔖 29

導入こんにちは、株式会社ナレッジセンスの須藤英寿です。今回は、取得したドキュメントを圧縮することでLLMの生成速度を最大５倍高速化する手法「OSCAR」について紹介します。速度はもちろん、入力するデータ自体も小さくできるので費用も抑えることができるようになっています。htt

多くの企業が「RAGの精度が出ない問題」に悩む中、ガートナーが「次のアプローチ」を予言 🔖 35

ガートナージャパンは2025年4月10日、企業のAIモデル活用に関する見解を発表した。汎用（はんよう）大規模言語モデル（LLM）は言語処理能力の点で強力であるものの、特定のビジネス領域での文脈を必要とするタスクでは応答の正確性が低下する傾向にあると指摘。このため、「企業は2027

【RAG】文書をパラメータ化してLLMに直接注入する手法 🔖 41

本記事では、RAGの性能を高めるための「DyPRAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、RAGの新手法である「DyPRAG」の論文[1]について、日本語で

【RAG】文書をパラメータ化してLLMに直接注入する手法 🔖 41

本記事では、RAGの性能を高めるための「DyPRAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何この記事は、RAGの新手法である「DyPRAG」の論文[1]について、日本

Gemma 3 で RAG 機能付きの安全なローカル AI チャット環境を構築する 🔖 13

1. はじめに!ローカルで Gemma 3 を動かす方法だけ知りたい方は 6. セットアップ手順 へ。出典：https://developers.googleblog.com/ja/introducing-gemma3/近年、大規模言語モデル（以下 LLM）の進化は目

キャディ機械学習勉強会： GraphRAG 🔖 1

こんにちは、Data&Analysis部(D&A)です。 D&Aでは週1回、機械学習の勉強会を開催しており、本記事は、勉強会の内容を生成AIを活用して記事にまとめたものです。 ※勉強会内容公開の経緯はこちら ※過去の勉強会は「社内勉強会」タグからもご覧いた

AIエージェントの考えすぎを防いでRAGの精度を向上 🔖 47

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、AIエージェントが陥る考えすぎ(過剰推論)を防いで、精度を向上させる手法ReaRAGについて紹介します。 サマリー 2025年はAIエージェント元年と呼ばれるように、Web検索やコード生成の分野でAIエージェントの

AIエージェントの考えすぎを防いでRAGの精度を向上 🔖 47

導入こんにちは、株式会社ナレッジセンスの須藤英寿です。今回は、AIエージェントが陥る考えすぎ(過剰推論)を防いで、精度を向上させる手法ReaRAGについて紹介します。https://arxiv.org/pdf/2503.21729 サマリー2025年はAIエージェン

InfraNodusでDify RAGを強化する：LLMのコンテキストを拡大 🔖 4

著者：Dmitry Paranyushkin（InfraNodus創設者）検索拡張生成（RAG）は、大規模言語モデル（LLM）にDifyのナレッジベースやドキュメントから付加情報を与える効果的な…

生成AIを活かすには埋め込みの理解から！RAGの心臓：埋め込みの基礎から応用まで！ 🔖 2

はじめにChatGPTなどの生成AIを企業で活用するには、独自のデータを組み合わせるRAG（検索拡張生成）が有益です。しかし、RAGの中核を担う「埋め込み」の仕組みは意外と知られていません。こ…

[RAG]Claudeではなく速い！安い！上手い！のAmazon Novaを使ってなんちゃってハイブリッド検索を作る 🔖 1

Amazon Nova使ってますか？Amazon NovaはBedrockで使える基盤モデルです。個人的には速い！安い！上手い！が印象のモデルです。が、結局Claude使ってしまいがちです。どのようなケースでNovaを使うのか模索していましたが、1つ良い感じに使えたので共有

イラストでわかるRAGを用いたbot開発~生成AIを使った開発の知識を深めよう~ 🔖 1

こ〜んにちは〜！スタディサプリ小中高SREの@_a0iです。 先日RECRUIT TECH CONFERENCE 2025 プレイベントで「イラストでわかるRAGを用いたbot開発」と題してLTを行いました。 資料もアップされています。 speakerdeck.com （首痛いポ

RAGの精度はどう評価する？　Azureで作るならどの方法がよい？　有識者が課題の実践的な解決方法を解説 🔖 25

生成AIを活用する際には、企業が独自に持つデータをどのように業務に生かすかが重要になる。そこでポイントになるのが「RAG」（検索拡張生成）という技術だ。ただ、RAGを利用するに当たって、どのようなインフラや仕組みが必要になるのか、回答精度を上げるにはどのような方法があるのかなど幾

RAGを評価するサンプルQ&Aを爆速で生成 🔖 27

本記事では、RAGのソースにするドキュメントに対して、「Q&Aデータ」を自動で生成できる手法「ExpertGenQA」について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGサービスを提供しているスタートアップです。 この記事は何この

【RAGで社内情報を活用！？】ベクトル検索精度の課題と試したこと 🔖 1

はじめに導入ある程度のことなら答えてくれる生成AI。業務利用されている方は、「社内情報に関しても回答してくれたらな」と感じたことがある方も多いのではないでしょうか。その場合、生成AIに回答さ…

企業のRAGにおける課題点、埋め込みコストや精度向上とグラフRAGへの期待 🔖 2

生成AIが多くのサービスに組み込まれ実際にそのパワーに触れる人が増えるにつれ、サービスに組み込みユーザー体験を向上させたい、もしくは社内ツールの利便性を向上させたいという要望が高まってきています。そのなかでRAGというも […]

RAGの検索性能を90％も低下させるテキストの落とし穴 🔖 77

導入こんにちは、株式会社ナレッジセンスの須藤英寿です。今回は、RAGの要であるEmbeddingの性能を大きく低下させてしまう、文章の特性について解説します。このブログで紹介している内容は以下の論文を元に作成しておりますので、詳細はそちらをご確認ください。RAGを構成してみ