BigQueryのメタデータ自動生成を解説 🔖 1

G-genの杉村です。BigQuery テーブルのデータをスキャンして、AI がテーブルのメタデータ（テーブルとカラムの説明）を自動生成するメタデータ自動生成機能を解説します。 はじめに テーブルのメタデータとは メタデータの自動生成 仕様 分析情報からのメタデータ自動生成 料金

BigQueryで自由記述形式のデータを分類する方法 Part 2 ~ Vector Search 編 ~ - Nealle Developer's Blog 🔖 22

はじめに さて今回はBigQueryで自由記述形式のデータを分類するPart 2ということで、予告通りVector Search を利用したテキスト分類を手軽にできるのか検証していきたいと思います。 （前回のブログでVector Search Indexと述べてますが、Vecto

BigQueryで自由記述形式のデータを分類する方法 Part 2 ~ Vector Search 編 ~ 🔖 22

はじめに さて今回はBigQueryで自由記述形式のデータを分類するPart 2ということで、予告通りVector Search を利用したテキスト分類を手軽にできるのか検証していきたいと思います。 （前回のブログでVector Search Indexと述べてますが、Vecto

BigQuery MCPサーバーを作ってみる 🔖 1

はじめに はじめまして。 データ本部でデータエンジニアをやっている@takaHALです。 最近、MCP（Model Context Protocol）を活用した様々なツールが登場し、ClaudeやCursorなどのAIツールでできることが急速に拡大していますよね。 今回は、MCP

BigQueryからCloudSQL（MySQL）へデータをインポートする 🔖 1

こんにちは。GMO NIKKOのharuです。 業務でBigQueryテーブルをCloudSQL（MySQL 8.0）テーブルに移送する必要があり、その時に色々と苦労したので、備忘録も兼ねて実装時に工夫した点/苦労した点

Grafana のデータソース乱立を解決。BigQuery で DB 可視化を一本化する federated queries 術 🔖 1

概要本記事では、Grafana でマネージド Relational Database (以下、マネージド RDB) を効率よく可視化する方法を紹介します。BigQuery の外部接続機能を利用して Cloud SQL for PostgreSQL のデータに接続し、Grafa

BigQuery MLで貢献度分析：「速く・広く・深い」インサイトを得る方法 - NRIネットコムBlog 🔖 14

はじめに 貢献度分析とは 今回使うデータの紹介 BigQuery で貢献度分析をする際のステップ ステップ① データの準備 ステップ② モデルの作成 ステップ③ インサイトを見てみよう まとめ はじめに ジブリの音楽を演奏できるようになることを夢見て、最近カリンバという楽器を購入

BigQueryのCronJob向けQAテストを自動化した話 🔖 1

AI・機械学習チームの鴨田です。このブログはAI・機械学習チームブログリレー 9日目の記事です。 年末休みに話題の書籍『Tidy First?』を読みました。コード整理の実践的な手法や作業粒度によるトレードオフなどを学び、「最初から完璧な設計なんてできるわけない。コード品質を保つ

BETWEENに気をつけろ！BigQueryの日次集計で罠にハマった話 - エムスリーテックブログ 🔖 42

こんにちは。AI・機械学習チームの高田です。このブログはAI・機械学習チームブログリレー7日目の記事です。 はじめに 私たちAI・機械学習チームでは、機械学習モデルの学習データ準備やデータパイプライン開発のために日次でのデータ集計をしています。これらの集計データは、モデルの精度評

BETWEENに気をつけろ！BigQueryの日次集計で罠にハマった話 🔖 42

こんにちは。AI・機械学習チームの高田です。このブログはAI・機械学習チームブログリレー7日目の記事です。 はじめに 私たちAI・機械学習チームでは、機械学習モデルの学習データ準備やデータパイプライン開発のために日次でのデータ集計をしています。これらの集計データは、モデルの精度評

Effect.tsはストリームを扱う目的でも便利だよ、という話 with BigQuery Storage Write API 🔖 1

この記事の目標クオータを越えないようにしつつ、BigQueryにStorage Write APIでインサートしてみよう。ということになります。この記事を読むにあたって、BigQueryの知識は必要ないです。詳しくはBigQuery Storage Write API の概

BigQueryで自由記述形式のデータを分類する方法 Part 1 - Nealle Developer's Blog 🔖 30

はじめに Park Directでは利用者が駐車場契約の申し込みをキャンセルする時に理由を自由記述形式で入力してもらっています。なぜなら、サービスの改善や顧客満足度向上に不可欠な情報だからです。 また、 キャンセル理由をカテゴリに分類することで、 傾向の把握: どんな理由でキャン

BigQueryで自由記述形式のデータを分類する方法 Part 1 🔖 30

はじめに Park Directでは利用者が駐車場契約の申し込みをキャンセルする時に理由を自由記述形式で入力してもらっています。なぜなら、サービスの改善や顧客満足度向上に不可欠な情報だからです。 また、 キャンセル理由をカテゴリに分類することで、 傾向の把握: どんな理由でキャン

BigQueryで時系列予測を試してみた 🔖 2

Effect.tsはストリームを扱う目的でも便利だよ、という話 with BigQuery Storage Write API 🔖 2

この記事の目標クオータを越えないようにしつつ、BigQueryにStorage Write APIでインサートしてみよう。ということになります。この記事を読むにあたって、BigQueryの知識は必要ないです。詳しくはBigQuery Storage Write API の概

サクッとできる、型安全なスタブデータでの BigQuery テスト - エムスリーテックブログ 🔖 38

はじめに はじめまして。基盤開発チーム/Unit3を兼務している林です。 エムスリーではデータ基盤として BigQuery を全社的に使っていますが、 BigQuery を使ったアプリケーションやバッチを実装するときに、テストをどうするべきかは難しい問題です。*1 本記事では、B

サクッとできる、型安全なスタブデータでの BigQuery テスト 🔖 38

はじめに はじめまして。基盤開発チーム/Unit3を兼務している林です。 エムスリーではデータ基盤として BigQuery を全社的に使っていますが、 BigQuery を使ったアプリケーションやバッチを実装するときに、テストをどうするべきかは難しい問題です。*1 本記事では、B

BigQuery Data Transfer Serviceでイベントドリブンにデータを取り込む方法 🔖 1

G-genの福井です。BigQuery Data Transfer Service のイベントドリブン機能の設定手順を紹介します。 イベントドリブン転送の概要 BigQuery Data Transfer Service とは ユースケース アーキテクチャ 制限事項 料金 事前準

BigQuery × GitHubで始める行動量の可視化【AI導入後の変化をラフに捉えるために】 | Wantedly Engineer Blog 🔖 20

こんにちは。ウォンテッドリーでバックエンドエンジニアをしている市古（@sora_ichigo_x）です。 最近は Enabling チームとしての役割を持ち、Visit の新規開発や、バックエンドアーキテクチャの改善に取り組んでいます。 現在、Enablingチームでは技術的な取

BigQuery × GitHubで始める行動量の可視化【AI導入後の変化をラフに捉えるために】 🔖 20

こんにちは。ウォンテッドリーでバックエンドエンジニアをしている市古（@sora_ichigo_x）です。最近は E...

BigQuery MLで貢献度分析：「速く・広く・深い」インサイトを得る方法 🔖 14

はじめに 貢献度分析とは 今回使うデータの紹介 BigQuery で貢献度分析をする際のステップ ステップ① データの準備 ステップ② モデルの作成 ステップ③ インサイトを見てみよう まとめ はじめに ジブリの音楽を演奏できるようになることを夢見て、最近カリンバという楽器を購入

Cloud Run機能とオプション/BigQuery最新機能/Cloud Next 最新トレンド 🔖 1

こんにちは、ブログ運営担当の小野です。 5/21（水）19:00～20:00 当社主催の勉強会「NRIネットコム TECH & DESIGN STUDY #65」が開催されます!! 【ウェビナー概要】 今回のTECH & DESIGN STUDYでは、当社エンジニアから「コンソー

Cloud DLP を使って BigQuery に入っている個人情報を検知する 🔖 1

Cloud Data Loss Prevention (以下 Cloud DLP) は機密データを保護するための Google Cloud のサービス。渡したデータや指定したストレージに入っているデー

BigQuery の新関数「AI.GENERATE」を試してみた 🔖 1

はじめに 検索インテントとは AI.GENERATE 関数の概要と一般的な利用シーン AI.GENERATE 関数の利用に際した前提事項 検索クエリのインテント分類の検証 まとめ はじめに 久石譲のスタジオジブリフィルムコンサートが当選して嬉しい、ジブリ好き（特に、紅の豚）の松村

BigQuery Python UDF 完全に理解した 🔖 4

マイベスト データエンジニアの snhryt です。先月頭に、BigQueryにユーザー定義関数 (UDF) をPythonで書ける機能がプレビュー版でやってきました🎉少し時間が空いてしまいましたが、自分でもいろいろ触って完全に理解した[1]ので、体験記をまとめます。!P

BigQueryとGeminiの連携で広がるSQLの世界 | 株式会社プリンシプル 🔖 44

近年、生成AIの活用が企業のデータ分析において重要なトレンドとなっています。その中で、BigQueryが提供する”ML.GENERATE_TEXT”関数は、データベースとAIの融合という新しい可能性を開きました。 この関数を使うには「存在そのものがあまり知られていない」「使い方が

BigQuery MLの新機能「TimesFM」を試してみた - NRIネットコムBlog 🔖 47

はじめに TimesFM とは TimesFM の一般的な利用シーン 実際に使ってみた 予測精度を実測値と比較してみる まとめ はじめに ラスベガスから帰国後、アメリカのジャンキーなご飯と色の濃い飲料が恋しい、松村です。 本ブログでは、前回投稿した記事（※1）にてご紹介した Bi

BigQuery MLの新機能「TimesFM」を試してみた 🔖 47

はじめに TimesFM とは TimesFM の一般的な利用シーン 実際に使ってみた 予測精度を実測値と比較してみる まとめ はじめに ラスベガスから帰国後、アメリカのジャンキーなご飯と色の濃い飲料が恋しい、松村です。 本ブログでは、前回投稿した記事（※1）にてご紹介した Bi

LLMを活用した商品検索タグ自動生成とRecall改善の取り組み(BigQuery × Gemini) - 10X Product Blog 🔖 56

はじめに 課題：情報不足による検索ヒット率の低さ 施策：LLMによる検索タグの自動生成と活用 なぜタグ生成か？ 設計 JANコード単位での生成と管理 タグデータの更新について タグ生成の品質とリスク プロジェクトの進め方 1. PoC：タグ自動生成の実現可能性と品質検証 2. イ

LLMを活用した商品検索タグ自動生成とRecall改善の取り組み(BigQuery × Gemini) 🔖 56

はじめに 課題：情報不足による検索ヒット率の低さ 施策：LLMによる検索タグの自動生成と活用 なぜタグ生成か？ 設計 JANコード単位での生成と管理 タグデータの更新について タグ生成の品質とリスク プロジェクトの進め方 1. PoC：タグ自動生成の実現可能性と品質検証 2. イ

BigQueryの新発表を解説（Google Cloud Next '25速報） - G-gen Tech Blog 🔖 83

G-gen の杉村です。当記事では、Google Cloud Next '25 で発表された BigQuery の新機能について紹介します。 概要 BigQuery と AI の統合 全体像 BigQuery data preparation データセットレベルのインサイト（Bi

Next'25 速報 - Unify your data with BigQuery multimodal tables 🔖 1

はじめに現在ラスベガスで開催されている Google Cloud の旗艦イベント「Google Cloud NEXT'25（以下、Next'25）」に現地参加中の Shanks / kazz / 小堀内 / 岸本 です。Next'25 で発表された 最新情報 を現地からお届け

BigQueryの新発表を解説（Google Cloud Next '25速報） 🔖 83

G-gen の杉村です。当記事では、Google Cloud Next '25 で発表された BigQuery の新機能について紹介します。 概要 BigQuery と AI の統合 全体像 BigQuery data preparation データセットレベルのインサイト（Bi

BigQueryリポジトリを解説 🔖 1

G-gen の武井です。当記事では、BigQuery と Git リポジトリを連携する機能である BigQuery リポジトリを解説します。 はじめに 機能説明 リポジトリ リポジトリの利用形態 取り扱い可能なファイル バージョン管理 IAM ロール 料金 検証1（セットアップ）

マルチテナントなWebサービスでデータベースをBigQueryからPostgreSQLに移行してRow Level Securityを導入した - エムスリーテックブログ 🔖 128

こんにちは。AI・機械学習チームの高田です。 マルチテナント構成のWebサービスでは、データの分離とセキュリティを確保することが非常に重要です。マルチテナント構成とは、1つのシステムやアプリケーションを複数の顧客（テナント）で共有する設計アプローチを指します。 今回は、当社のある

マルチテナントなWebサービスでデータベースをBigQueryからPostgreSQLに移行してRow Level Securityを導入した 🔖 128

こんにちは。AI・機械学習チームの高田です。 マルチテナント構成のWebサービスでは、データの分離とセキュリティを確保することが非常に重要です。マルチテナント構成とは、1つのシステムやアプリケーションを複数の顧客（テナント）で共有する設計アプローチを指します。 今回は、当社のある

【プロンプト付き】AIエージェントと社内DBをつなげて、SQL不要なデータ分析基盤を構築する - BigQuery編｜maKunugi 🔖 128

【プロンプト付き】AIエージェントと社内DBをつなげて、SQL不要なデータ分析基盤を構築する - BigQuery編 本記事を読むとわかること 1. なぜ今「AIでのデータ分析」が注目されているか 2. SQL不要でデータ分析ができるAIを爆速構築する方法 3. 導入時に気をつけ

BigQueryの外部テーブルでスプレッドシートのデータをクエリする 🔖 3

G-gen の杉村です。BigQuery の外部テーブル（external tables）機能で Google スプレッドシートのデータを BigQuery からクエリする方法について紹介します。 外部テーブルとは スプレッドシート サンプルシートの準備 共有リンクの取得 外部テ