BigQueryに会話型分析機能（Conversational Analytics）が登場。詳細な分析レポート生成、将来予測や非構造化データの分析も可能に 🔖 17

BigQueryに会話型分析機能（Conversational Analytics）が登場。詳細な分析レポート生成、将来予測や非構造化データの分析も可能に Google Cloudは、同社の大規模データベースであるBigQueryの新機能として、自然言語を使ってデータを分析できる

BigQueryのConversational Analytics（対話型分析）を徹底解説 🔖 1

G-gen の杉村です。BigQuery には Conversational Analytics（対話型分析）機能が備わっており、データに関する質問を生成 AI に対してチャット形式で投げかけることができます。この機能を使うことで、SQL の知識がなくても、自然言語でデータをクエ

BigQueryのビュー、Looker Studioでパーティションちゃんと効いてますか？ 🔖 1

BigQueryのビュー（View Table）をLooker Studioのデータソースにしたとき、「あれ、パーティション効いてなくない...？」と焦った経験はありませんか？ この記事では、ビューでもパーティションを効かせる方法と、その確認方法、ハマりやすい注意点をまとめます。

BigQueryのワイルドカードテーブルで「スキーマ推論」によりNULLが発生するメカニズム 🔖 2

ウォンテッドリーでデータサイエンティストをしている右手です。BigQueryにおいて、ログデータを log_202...

社内 BigQuery にアクセスして Deep Research してくれるエージェントを作る 🔖 9

google-adk を用いて、社内 BigQuery にアクセスして Deep Research してくれるエージェントを作ってみた

【BigQuery】過去データの再作成が超絶楽になる！ループ処理でシャーディングテーブルを一気に作成する方法 🔖 2

こんにちは、エニグモの嘉松です。普段はデータ活用推進室にて、データ分析・データ活用の推進やMAツールを用いたCRM施策などを担当しています。 本記事はEnigmo Advent Calendar 2025の最終日（25日目）の記事です。1ヶ月間にわたり様々なテーマで繋いできたバト

SnowflakeからBigQueryへ。アソビューがDWHを統合した意思決定の背景と展望 🔖 10

2025年11月、Google Cloud 主催『Data & AI Summit '25 Fall』に登壇させていただきました。本記事では、登壇資料をベースに、口頭で話した内容や話しきれなかった内容を補足しながら、アソビューがデータ基盤のアーキテクチャを再設計するに至った意思決

運用保守チーム立ち上げ半年で構築した、GitHubとBigQueryによる運用保守基盤の構築事例 🔖 10

【本記事は、Insight Edge アドベントカレンダー、Insight Edge Advent Calendar 2025 の20日目です】 こんにちは。Insight Edgeに6月に入社した肥塚です。 QA・運用保守チームの第1号社員としてシステム運用に携わっています。

BigQuery×Geminiでスクレイピングデータの週次レポートを自動生成する 🔖 1

はじめにこれは「GitHub Trendingデータ基盤構築編」シリーズの続編です。前回の記事では、GitHub TrendingをスクレイピングしてDataflowで整形し、BigQueryに構造化データとして蓄積するパイプラインを構築しました。今回はその続きとして、Bi

Pub/Sub で Worker Pool パターンを実装し、BigQuery リバース ETL ジョブの同時実行数を制御する 🔖 1

この記事は TVer Advent Calendar 2025 19 日目の記事です。昨日、18 日目の記事は@k0bya4 さんの、「30分で Spanner の検索とグラフクエリを試す」でした。 はじめに TVer 広告プロダクト本部 SRE の髙品（@datahaikuni

Google Cloud の Open Lakehouse: BigQuery で読み書きできる Iceberg Table 🔖 1

Google Cloud Japan Advent Calendar 2025 の16日目の記事です。本日のテーマは、BigQuery と Apache Iceberg (以下 Iceberg) です。 はじめにLakehouse を活用するアーキテクチャにおいて、様々な

BigQueryに自然言語でクエリする10個の方法 🔖 2

G-genの杉村です。当記事では、BigQuery に対して自然言語によってデータの抽出や分析を行うための方法を紹介します。 はじめに 自然言語によるデータベースへのクエリ 10個の方法 注意点 Looker Studio Pro（Conversational Analytics

Google、すべてのサービスに生成AIと接続できるフルマネージドなMCPサーバを提供すると宣言。まずはGoogleマップ、BigQuery、Google Compute Engineで利用可能に 🔖 64

Google、すべてのサービスに生成AIと接続できるフルマネージドなMCPサーバを提供すると宣言。まずはGoogleマップ、BigQuery、Google Compute Engineで利用可能に Googleは、Geminiなどの生成AIと同社のクラウドサービスを接続できるMC

BigQueryのSQLいろいろ (5) NULL・その他の型 🔖 4

BigQueryのSQLについて、ドキュメントを読んだり実験したりしながら挙動を解き明かしていこうと思います。第5...

BigQueryのデータをAIでフィルタリング！手動→自動化→コスト最適化の3ステップ 🔖 2

こんにちは、AIテクノロジーグループの竹田です。 本記事は Enigmo Advent Calendar 2025 の11日目の記事です。 本稿では、BigQueryで抽出したデータに対して「金額に関する記述が含まれているか」をAIで判定する方法を、段階的に進化させながら紹介しま

Iceberg × dbt × BigQuery × Snowflakeでつくる、マルチDWHパイプライン 🔖 6

Apache Icebergを用いて、SnowflakeとBigQueryを横断するマルチDWHのデータパイプラインを実現しました。開発・運用の効率性を高くするためdbtで実装したが、その中で気を付けなければいけない点が多くありました。想定する読者Icebergを用いたパ

BigQueryのSQLいろいろ (4) ARRAY型・STRUCT型 🔖 4

BigQueryのSQLについて、ドキュメントを読んだり実験したりしながら挙動を解き明かしていこうと思います。第4...

BigQuery の EDIT_DISTANCE と AI.GENERATE を組み合わせて病名の名寄せ処理を効率化する 🔖 2

こんにちは、 Ubie の @yubessy です。普段は Medical Engineering というチームで医療・医学に関するデータや AI を扱う仕事をしています。今回は BigQuery の EDIT_DISTANCE と AI.GENERATE を組み合わせて病名の

BigQuery の EDIT_DISTANCE と AI.GENERATE を組み合わせて病名の名寄せ処理を効率化する 🔖 2

こんにちは、 Ubie の @yubessy です。普段は Medical Engineering というチームで医療・医学に関するデータや AI を扱う仕事をしています。今回は BigQuery の EDIT_DISTANCE と AI.GENERATE を組み合わせて病名の

【TIPS】BigQuery×スプレッドシート：パラメータ機能で配列（IN句）を扱うときは SPLIT と UNNEST を使おう 🔖 2

こんにちは！　atama plusでエンジニアをしているnaoshiです。この記事では、Googleスプレッドシートのデータコネクタ機能を使ってBigQueryを叩く際、パラメータ機能で配列（IN 句）を使おうとしてハマったポイントと、その回避策 を紹介します。同じ課題に遭遇

BigQueryの便利な機能を知ろう！コンソールツアー 🔖 1

Google Cloud 通常アドベントカレンダーの初日を務めます Customer Engineer の Shu Aiba です。このブログでは、データ分析のサービスである BigQuery の様々な機能をコンソールを見ながら紹介していきたいと思います。BigQuery のコ

BigQueryのSQLいろいろ (3) 日付・時刻型 🔖 19

BigQueryのSQLについて、ドキュメントを読んだり実験したりしながら挙動を解き明かしていこうと思います。第3...

会計システムの「事実」を護れ！DataformとBigQueryで実現する「イミュータブル」な分析基盤 🔖 1

どーも、AIの方のy.s.です！ エンジニアやってると、いろんなデータ扱うけど、その中でも「会計データ」って、マジで特別扱いしなきゃヤバいやつ、って知ってた？ 「売上データが1円ズレてたわｗ テヘ☆」が許されない世界。それが会計。なぜなら、会計データ、特に「仕訳」とかって、「一

BigQueryのSQLいろいろ (2) 文字列型 🔖 2

BigQueryのSQLについて、ドキュメントを読んだり実験したりしながら挙動を解き明かしていこうと思います。第2...

「自動化」のその先へ。BigQueryが切り拓く「自律型データウェアハウス」の未来 🔖 39

データの世界に携わる皆さんなら、「データウェアハウス（DWH）の自動化」という言葉を何度も耳にしてきたことでしょう。日々のETLジョブのスケジューリング、リソースの自動スケーリングなど、私たちは「自動化」によって多くの定型業務から解放されてきました。 しかし、今、BigQuery

BigQueryのSQLいろいろ (1) 数値型 🔖 1

BigQueryのSQLについて、ドキュメントを読んだり実験したりしながら挙動を解き明かしていこうと思います。第1...

「自動化」のその先へ。BigQueryが切り拓く「自律型データウェアハウス」の未来 🔖 39

データの世界に携わる皆さんなら、「データウェアハウス（DWH）の自動化」という言葉を何度も耳にしてきたことでしょう。日々のETLジョブのスケジューリング、リソースの自動スケーリングなど、私たちは「自動化」によって多くの定型業務から解放されてきました。しかし、今、BigQuery

監査ログ検索が27倍高速化。BigQuery 移行でコスト削減と高速化を両立した BaseMachina のログ分析基盤 🔖 1

BigQueryで使えるストアドプロシージャ入門：再利用・自動化・セキュリティに効く！ 🔖 1

ストアドプロシージャとは？BigQueryのストアドプロシージャは、他のクエリやプロシージャから呼び出せるSQLステートメントの集合です。以下のような特徴があります：何度でも使えるSQLのまとまり名前をつけてBigQueryのデータセットに保存できる引数（入力）...

BigQueryの本番データがすべて消えた日 - 大規模障害から学んだ復旧と再発防止策 🔖 37

はじめに こんにちは！AI技術開発室のYTです。 ケアネットでは、本番データウェアハウスとしてBigQueryを導入しています。ユーザー向けサービスと連動はしておらず、データ解析を目的とし、複数の部署が単一のGoogle Cloudプロジェクトを共有してデータを集約する運用をとっ

ADKとBigQueryで作るAIエージェントの安全な設計 🔖 1

G-gen の min です。Agent Development Kit（ADK）と BigQuery を組み合わせた AI エージェントにおけるリスクを管理し、安全に運用するための設計アプローチを説明します。 はじめに ADK と BigQuery AI エージェントに潜むリス

BigQueryのクエリのパフォーマンス最適化をClaude Codeに行なわせる - yasuhisa's blog 🔖 26

背景: データ基盤の運用ではクエリのパフォーマンス最適化と向き合わないといけない機会が多い 課題: クエリ改善のヒント、実行情報は見るのが難しい 解決方法: 実行情報とクエリ最適化の紐付けをClaude Codeにさせる 工夫ポイント1: 実行情報をINFORMATION_SCH

BigQueryの本番データがすべて消えた日 - 大規模障害から学んだ復旧と再発防止策 🔖 37

はじめにこんにちは！AI技術開発室のYTです。ケアネットでは、本番データウェアハウスとしてBigQueryを導入しています。ユーザー向けサービスと連動はしておらず、データ解析を目的とし、複数の部署が単一のGoogle Cloudプロジェクトを共有してデータを集約する運用をとっ

BigQuery SQLを劇的に進化させる！効率化と柔軟性を高める5つの新機能 🎉 🔖 13

BigQueryをお使いの皆さん、日々のデータ分析、本当にお疲れ様です！BigQueryのSQLは、大規模なデータセットを扱う上で強力なツールですが、「もっと効率的に書けたら」「もっと柔軟にデータを扱えたら」と感じたことはありませんか？そんな皆さんの声に応える、SQL記述の効

BigQuery MLを用いたフリーテキストのカテゴリ分類 🔖 4

はじめに こんにちは！ データエンジニアの森下です。今回はBigQuery MLからGeminiを使用したフリーテキストの分類についてお話しようと思います。BigQuery ML を業務で使うのは初めてでしたが、思ったより簡単に SQL から LLM を呼び出すことができ、業務へ

BigQueryML の TimesFM で学習不要な「ゼロショット」の時系列予測を試してみた 🔖 3

はじめにこんにちは、クラウドエースの木村です。Google Cloud の BigQuery ML にモデルの学習やチューニングを一切行わずに、時系列データの予測ができる TimesFM が登場しました。この記事では、TimesFM の仕組みから、実際の SQL を使ったハ

BigQueryのINFORMATION_SCHEMA向けサンプルクエリ集 🔖 1

G-genの min です。本記事では、BigQuery の INFORMATION_SCHEMA に対するクエリ例を紹介します。コスト管理、開発の効率化、運用のために活用してください。 仕様 INFORMATION_SCHEMA とは 料金 必要な権限 制約事項 注意点 コスト

BigQuery scheduled query では partitioning_field を指定できるが、公式ドキュメントがわかりにくい 🔖 1

公式ドキュメントが説明不足でつらい気持ちになったので、この記事を書くことにしました。 BigQuery scheduled query とはBigQuery scheduled query とは、 BigQuery 上でクエリをスケジュール実行し、その結果を BigQuer

クエリそのままパフォーマンスを改善 BigQuery パフォーマンス向上テクニック 🔖 32

どんなシステムでも導入してしばらく経つと、パフォーマンスを最適化したくなってきますよね。もちろんBigQueryも例外ではありません。DWHのチューニングというと、SQLを書き換えたり、テーブルを非正規化したりして性能を改善するのが最初に思いつくかもしれませんが、正直、少し面倒

OracleのSQLをそのままBigQueryで動かしたいんですよ、絶対に。 🔖 3

【Unit4 ブログリレー9日目】 何言ってるんですかね。でも、見てみたいかも。こんにちは、エムスリーエンジニアリンググループの福林 (@fukubaya) です。 OracleのSQLに手を加えることなくBigQueryで実行させたいことってよくありますよね(ない)。今回はその

BigQueryで機械学習 時系列推移の異常を検知する - ドワンゴ教育サービス開発者ブログ 🔖 51

はじめに ドワンゴ教育事業でデータアナリストとして働いている小林です。 ZEN大学の開学やR高校の開校で今年の春は例年にもまして賑やかなものでした。ライブストリーミングされていた入学式やオリエン番組などを眺めていると皆様の人生の節目に立ち会えた嬉しさとともに、より良いサービスを作

なぜBigQuery Editionsのクエリ単位のコストは正確に計算できないのか 🔖 19

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ご興味のある方は、ぜひご応募ください。 風音屋データエンジニア

もうLoadの前処理は不要？ BigQueryのデータロードを劇的に改善する4つの新機能 🔖 1

tl;drBigQueryのLOAD DATAが強化。タイムゾーン/日時形式の変換、複数NULL値の対応、CSVの列名マッチングがSQLだけで可能になりました。BigQueryをお使いの皆さん、こんにちは！BigQueryへデータを投入する際、ソースデータの形式が多種多様

もうLoadの前処理は不要？ BigQueryのデータロードを劇的に改善する4つの新機能 🔖 1

tl;drBigQueryのLOAD DATAが強化。タイムゾーン/日時形式の変換、複数NULL値の対応、CSVの列名マッチングがSQLだけで可能になりました。BigQueryをお使いの皆さん、こんにちは！BigQueryへデータを投入する際、ソースデータの形式が多種多様

BigQueryへのデータ転送方式移行でマルチリージョンに苦しんだ話 🔖 1

はじめにはじめまして、4月からatama plusにデータエンジニアとしてジョインしたTackungです。弊社ではデータ基盤にBigQueryを採用しており、プロダクト側で日々発生するデータをTROCCOやGoogle Cloud Dataform、Composerを使った日

DataformでBigQueryのPython UDFを管理する事例紹介 🔖 1

こんにちは、atama plus でデータエンジニアをしている kumewata です。先日プレビュー版が公開された BigQuery の Python UDFを、Dataform 経由で利用してみたので紹介します。 背景弊社で利用している BigQuery 上で iCa

BigQueryのメタデータ自動生成を解説 🔖 1

G-genの杉村です。BigQuery テーブルのデータをスキャンして、AI がテーブルのメタデータ（テーブルとカラムの説明）を自動生成するメタデータ自動生成機能を解説します。 はじめに テーブルのメタデータとは メタデータの自動生成 仕様 分析情報からのメタデータ自動生成 料金

BigQueryで自由記述形式のデータを分類する方法 Part 2 ~ Vector Search 編 ~ - Nealle Developer's Blog 🔖 22

はじめに さて今回はBigQueryで自由記述形式のデータを分類するPart 2ということで、予告通りVector Search を利用したテキスト分類を手軽にできるのか検証していきたいと思います。 （前回のブログでVector Search Indexと述べてますが、Vecto

BigQueryで自由記述形式のデータを分類する方法 Part 2 ~ Vector Search 編 ~ 🔖 22

はじめに さて今回はBigQueryで自由記述形式のデータを分類するPart 2ということで、予告通りVector Search を利用したテキスト分類を手軽にできるのか検証していきたいと思います。 （前回のブログでVector Search Indexと述べてますが、Vecto

BigQuery MCPサーバーを作ってみる 🔖 1

はじめに はじめまして。 データ本部でデータエンジニアをやっている@takaHALです。 最近、MCP（Model Context Protocol）を活用した様々なツールが登場し、ClaudeやCursorなどのAIツールでできることが急速に拡大していますよね。 今回は、MCP