BigQueryに自然言語でクエリする10個の方法 🔖 1

G-genの杉村です。当記事では、BigQuery に対して自然言語によってデータの抽出や分析を行うための方法を紹介します。 はじめに 自然言語によるデータベースへのクエリ 10個の方法 注意点 Looker Studio Pro（Conversational Analytics

Google、すべてのサービスに生成AIと接続できるフルマネージドなMCPサーバを提供すると宣言。まずはGoogleマップ、BigQuery、Google Compute Engineで利用可能に 🔖 61

Google、すべてのサービスに生成AIと接続できるフルマネージドなMCPサーバを提供すると宣言。まずはGoogleマップ、BigQuery、Google Compute Engineで利用可能に Googleは、Geminiなどの生成AIと同社のクラウドサービスを接続できるMC

BigQueryのSQLいろいろ (5) NULL・その他の型 🔖 4

BigQueryのSQLについて、ドキュメントを読んだり実験したりしながら挙動を解き明かしていこうと思います。第5...

BigQueryのデータをAIでフィルタリング！手動→自動化→コスト最適化の3ステップ 🔖 2

こんにちは、AIテクノロジーグループの竹田です。 本記事は Enigmo Advent Calendar 2025 の11日目の記事です。 本稿では、BigQueryで抽出したデータに対して「金額に関する記述が含まれているか」をAIで判定する方法を、段階的に進化させながら紹介しま

Iceberg × dbt × BigQuery × Snowflakeでつくる、マルチDWHパイプライン 🔖 5

Apache Icebergを用いて、SnowflakeとBigQueryを横断するマルチDWHのデータパイプラインを実現しました。開発・運用の効率性を高くするためdbtで実装したが、その中で気を付けなければいけない点が多くありました。想定する読者Icebergを用いたパ

BigQueryのSQLいろいろ (4) ARRAY型・STRUCT型 🔖 4

BigQueryのSQLについて、ドキュメントを読んだり実験したりしながら挙動を解き明かしていこうと思います。第4...

BigQuery の EDIT_DISTANCE と AI.GENERATE を組み合わせて病名の名寄せ処理を効率化する 🔖 1

こんにちは、 Ubie の @yubessy です。普段は Medical Engineering というチームで医療・医学に関するデータや AI を扱う仕事をしています。今回は BigQuery の EDIT_DISTANCE と AI.GENERATE を組み合わせて病名の

BigQuery の EDIT_DISTANCE と AI.GENERATE を組み合わせて病名の名寄せ処理を効率化する 🔖 1

こんにちは、 Ubie の @yubessy です。普段は Medical Engineering というチームで医療・医学に関するデータや AI を扱う仕事をしています。今回は BigQuery の EDIT_DISTANCE と AI.GENERATE を組み合わせて病名の

【TIPS】BigQuery×スプレッドシート：パラメータ機能で配列（IN句）を扱うときは SPLIT と UNNEST を使おう 🔖 2

こんにちは！　atama plusでエンジニアをしているnaoshiです。この記事では、Googleスプレッドシートのデータコネクタ機能を使ってBigQueryを叩く際、パラメータ機能で配列（IN 句）を使おうとしてハマったポイントと、その回避策 を紹介します。同じ課題に遭遇

BigQueryの便利な機能を知ろう！コンソールツアー 🔖 1

Google Cloud 通常アドベントカレンダーの初日を務めます Customer Engineer の Shu Aiba です。このブログでは、データ分析のサービスである BigQuery の様々な機能をコンソールを見ながら紹介していきたいと思います。BigQuery のコ

BigQueryのSQLいろいろ (3) 日付・時刻型 🔖 18

BigQueryのSQLについて、ドキュメントを読んだり実験したりしながら挙動を解き明かしていこうと思います。第3...

会計システムの「事実」を護れ！DataformとBigQueryで実現する「イミュータブル」な分析基盤 🔖 1

どーも、AIの方のy.s.です！ エンジニアやってると、いろんなデータ扱うけど、その中でも「会計データ」って、マジで特別扱いしなきゃヤバいやつ、って知ってた？ 「売上データが1円ズレてたわｗ テヘ☆」が許されない世界。それが会計。なぜなら、会計データ、特に「仕訳」とかって、「一

BigQueryのSQLいろいろ (2) 文字列型 🔖 2

BigQueryのSQLについて、ドキュメントを読んだり実験したりしながら挙動を解き明かしていこうと思います。第2...

「自動化」のその先へ。BigQueryが切り拓く「自律型データウェアハウス」の未来 🔖 39

データの世界に携わる皆さんなら、「データウェアハウス（DWH）の自動化」という言葉を何度も耳にしてきたことでしょう。日々のETLジョブのスケジューリング、リソースの自動スケーリングなど、私たちは「自動化」によって多くの定型業務から解放されてきました。 しかし、今、BigQuery

BigQueryのSQLいろいろ (1) 数値型 🔖 1

BigQueryのSQLについて、ドキュメントを読んだり実験したりしながら挙動を解き明かしていこうと思います。第1...

「自動化」のその先へ。BigQueryが切り拓く「自律型データウェアハウス」の未来 🔖 39

データの世界に携わる皆さんなら、「データウェアハウス（DWH）の自動化」という言葉を何度も耳にしてきたことでしょう。日々のETLジョブのスケジューリング、リソースの自動スケーリングなど、私たちは「自動化」によって多くの定型業務から解放されてきました。しかし、今、BigQuery

監査ログ検索が27倍高速化。BigQuery 移行でコスト削減と高速化を両立した BaseMachina のログ分析基盤 🔖 1

BigQueryで使えるストアドプロシージャ入門：再利用・自動化・セキュリティに効く！ 🔖 1

ストアドプロシージャとは？BigQueryのストアドプロシージャは、他のクエリやプロシージャから呼び出せるSQLステートメントの集合です。以下のような特徴があります：何度でも使えるSQLのまとまり名前をつけてBigQueryのデータセットに保存できる引数（入力）...

BigQueryの本番データがすべて消えた日 - 大規模障害から学んだ復旧と再発防止策 🔖 37

はじめに こんにちは！AI技術開発室のYTです。 ケアネットでは、本番データウェアハウスとしてBigQueryを導入しています。ユーザー向けサービスと連動はしておらず、データ解析を目的とし、複数の部署が単一のGoogle Cloudプロジェクトを共有してデータを集約する運用をとっ

ADKとBigQueryで作るAIエージェントの安全な設計 🔖 1

G-gen の min です。Agent Development Kit（ADK）と BigQuery を組み合わせた AI エージェントにおけるリスクを管理し、安全に運用するための設計アプローチを説明します。 はじめに ADK と BigQuery AI エージェントに潜むリス

BigQueryのクエリのパフォーマンス最適化をClaude Codeに行なわせる - yasuhisa's blog 🔖 26

背景: データ基盤の運用ではクエリのパフォーマンス最適化と向き合わないといけない機会が多い 課題: クエリ改善のヒント、実行情報は見るのが難しい 解決方法: 実行情報とクエリ最適化の紐付けをClaude Codeにさせる 工夫ポイント1: 実行情報をINFORMATION_SCH

BigQueryの本番データがすべて消えた日 - 大規模障害から学んだ復旧と再発防止策 🔖 37

はじめにこんにちは！AI技術開発室のYTです。ケアネットでは、本番データウェアハウスとしてBigQueryを導入しています。ユーザー向けサービスと連動はしておらず、データ解析を目的とし、複数の部署が単一のGoogle Cloudプロジェクトを共有してデータを集約する運用をとっ

BigQuery SQLを劇的に進化させる！効率化と柔軟性を高める5つの新機能 🎉 🔖 13

BigQueryをお使いの皆さん、日々のデータ分析、本当にお疲れ様です！BigQueryのSQLは、大規模なデータセットを扱う上で強力なツールですが、「もっと効率的に書けたら」「もっと柔軟にデータを扱えたら」と感じたことはありませんか？そんな皆さんの声に応える、SQL記述の効

BigQuery MLを用いたフリーテキストのカテゴリ分類 🔖 4

はじめに こんにちは！ データエンジニアの森下です。今回はBigQuery MLからGeminiを使用したフリーテキストの分類についてお話しようと思います。BigQuery ML を業務で使うのは初めてでしたが、思ったより簡単に SQL から LLM を呼び出すことができ、業務へ

BigQueryML の TimesFM で学習不要な「ゼロショット」の時系列予測を試してみた 🔖 3

はじめにこんにちは、クラウドエースの木村です。Google Cloud の BigQuery ML にモデルの学習やチューニングを一切行わずに、時系列データの予測ができる TimesFM が登場しました。この記事では、TimesFM の仕組みから、実際の SQL を使ったハ

BigQueryのINFORMATION_SCHEMA向けサンプルクエリ集 🔖 1

G-genの min です。本記事では、BigQuery の INFORMATION_SCHEMA に対するクエリ例を紹介します。コスト管理、開発の効率化、運用のために活用してください。 仕様 INFORMATION_SCHEMA とは 料金 必要な権限 制約事項 注意点 コスト

BigQuery scheduled query では partitioning_field を指定できるが、公式ドキュメントがわかりにくい 🔖 1

公式ドキュメントが説明不足でつらい気持ちになったので、この記事を書くことにしました。 BigQuery scheduled query とはBigQuery scheduled query とは、 BigQuery 上でクエリをスケジュール実行し、その結果を BigQuer

クエリそのままパフォーマンスを改善 BigQuery パフォーマンス向上テクニック 🔖 32

どんなシステムでも導入してしばらく経つと、パフォーマンスを最適化したくなってきますよね。もちろんBigQueryも例外ではありません。DWHのチューニングというと、SQLを書き換えたり、テーブルを非正規化したりして性能を改善するのが最初に思いつくかもしれませんが、正直、少し面倒

OracleのSQLをそのままBigQueryで動かしたいんですよ、絶対に。 🔖 3

【Unit4 ブログリレー9日目】 何言ってるんですかね。でも、見てみたいかも。こんにちは、エムスリーエンジニアリンググループの福林 (@fukubaya) です。 OracleのSQLに手を加えることなくBigQueryで実行させたいことってよくありますよね(ない)。今回はその

BigQueryで機械学習 時系列推移の異常を検知する - ドワンゴ教育サービス開発者ブログ 🔖 51

はじめに ドワンゴ教育事業でデータアナリストとして働いている小林です。 ZEN大学の開学やR高校の開校で今年の春は例年にもまして賑やかなものでした。ライブストリーミングされていた入学式やオリエン番組などを眺めていると皆様の人生の節目に立ち会えた嬉しさとともに、より良いサービスを作

なぜBigQuery Editionsのクエリ単位のコストは正確に計算できないのか 🔖 19

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ご興味のある方は、ぜひご応募ください。 風音屋データエンジニア

もうLoadの前処理は不要？ BigQueryのデータロードを劇的に改善する4つの新機能 🔖 1

tl;drBigQueryのLOAD DATAが強化。タイムゾーン/日時形式の変換、複数NULL値の対応、CSVの列名マッチングがSQLだけで可能になりました。BigQueryをお使いの皆さん、こんにちは！BigQueryへデータを投入する際、ソースデータの形式が多種多様

もうLoadの前処理は不要？ BigQueryのデータロードを劇的に改善する4つの新機能 🔖 1

tl;drBigQueryのLOAD DATAが強化。タイムゾーン/日時形式の変換、複数NULL値の対応、CSVの列名マッチングがSQLだけで可能になりました。BigQueryをお使いの皆さん、こんにちは！BigQueryへデータを投入する際、ソースデータの形式が多種多様

BigQueryへのデータ転送方式移行でマルチリージョンに苦しんだ話 🔖 1

はじめにはじめまして、4月からatama plusにデータエンジニアとしてジョインしたTackungです。弊社ではデータ基盤にBigQueryを採用しており、プロダクト側で日々発生するデータをTROCCOやGoogle Cloud Dataform、Composerを使った日

DataformでBigQueryのPython UDFを管理する事例紹介 🔖 1

こんにちは、atama plus でデータエンジニアをしている kumewata です。先日プレビュー版が公開された BigQuery の Python UDFを、Dataform 経由で利用してみたので紹介します。 背景弊社で利用している BigQuery 上で iCa

BigQueryのメタデータ自動生成を解説 🔖 1

G-genの杉村です。BigQuery テーブルのデータをスキャンして、AI がテーブルのメタデータ（テーブルとカラムの説明）を自動生成するメタデータ自動生成機能を解説します。 はじめに テーブルのメタデータとは メタデータの自動生成 仕様 分析情報からのメタデータ自動生成 料金

BigQueryで自由記述形式のデータを分類する方法 Part 2 ~ Vector Search 編 ~ - Nealle Developer's Blog 🔖 22

はじめに さて今回はBigQueryで自由記述形式のデータを分類するPart 2ということで、予告通りVector Search を利用したテキスト分類を手軽にできるのか検証していきたいと思います。 （前回のブログでVector Search Indexと述べてますが、Vecto

BigQueryで自由記述形式のデータを分類する方法 Part 2 ~ Vector Search 編 ~ 🔖 22

はじめに さて今回はBigQueryで自由記述形式のデータを分類するPart 2ということで、予告通りVector Search を利用したテキスト分類を手軽にできるのか検証していきたいと思います。 （前回のブログでVector Search Indexと述べてますが、Vecto

BigQuery MCPサーバーを作ってみる 🔖 1

はじめに はじめまして。 データ本部でデータエンジニアをやっている@takaHALです。 最近、MCP（Model Context Protocol）を活用した様々なツールが登場し、ClaudeやCursorなどのAIツールでできることが急速に拡大していますよね。 今回は、MCP

BigQueryからCloudSQL（MySQL）へデータをインポートする 🔖 1

こんにちは。GMO NIKKOのharuです。 業務でBigQueryテーブルをCloudSQL（MySQL 8.0）テーブルに移送する必要があり、その時に色々と苦労したので、備忘録も兼ねて実装時に工夫した点/苦労した点

Grafana のデータソース乱立を解決。BigQuery で DB 可視化を一本化する federated queries 術 🔖 1

概要本記事では、Grafana でマネージド Relational Database (以下、マネージド RDB) を効率よく可視化する方法を紹介します。BigQuery の外部接続機能を利用して Cloud SQL for PostgreSQL のデータに接続し、Grafa

BigQuery MLで貢献度分析：「速く・広く・深い」インサイトを得る方法 - NRIネットコムBlog 🔖 14

はじめに 貢献度分析とは 今回使うデータの紹介 BigQuery で貢献度分析をする際のステップ ステップ① データの準備 ステップ② モデルの作成 ステップ③ インサイトを見てみよう まとめ はじめに ジブリの音楽を演奏できるようになることを夢見て、最近カリンバという楽器を購入

BigQueryのCronJob向けQAテストを自動化した話 🔖 1

AI・機械学習チームの鴨田です。このブログはAI・機械学習チームブログリレー 9日目の記事です。 年末休みに話題の書籍『Tidy First?』を読みました。コード整理の実践的な手法や作業粒度によるトレードオフなどを学び、「最初から完璧な設計なんてできるわけない。コード品質を保つ

BETWEENに気をつけろ！BigQueryの日次集計で罠にハマった話 - エムスリーテックブログ 🔖 42

こんにちは。AI・機械学習チームの高田です。このブログはAI・機械学習チームブログリレー7日目の記事です。 はじめに 私たちAI・機械学習チームでは、機械学習モデルの学習データ準備やデータパイプライン開発のために日次でのデータ集計をしています。これらの集計データは、モデルの精度評

BETWEENに気をつけろ！BigQueryの日次集計で罠にハマった話 🔖 42

こんにちは。AI・機械学習チームの高田です。このブログはAI・機械学習チームブログリレー7日目の記事です。 はじめに 私たちAI・機械学習チームでは、機械学習モデルの学習データ準備やデータパイプライン開発のために日次でのデータ集計をしています。これらの集計データは、モデルの精度評

Effect.tsはストリームを扱う目的でも便利だよ、という話 with BigQuery Storage Write API 🔖 1

この記事の目標クオータを越えないようにしつつ、BigQueryにStorage Write APIでインサートしてみよう。ということになります。この記事を読むにあたって、BigQueryの知識は必要ないです。詳しくはBigQuery Storage Write API の概

BigQueryで自由記述形式のデータを分類する方法 Part 1 - Nealle Developer's Blog 🔖 30

はじめに Park Directでは利用者が駐車場契約の申し込みをキャンセルする時に理由を自由記述形式で入力してもらっています。なぜなら、サービスの改善や顧客満足度向上に不可欠な情報だからです。 また、 キャンセル理由をカテゴリに分類することで、 傾向の把握: どんな理由でキャン

BigQueryで自由記述形式のデータを分類する方法 Part 1 🔖 30

はじめに Park Directでは利用者が駐車場契約の申し込みをキャンセルする時に理由を自由記述形式で入力してもらっています。なぜなら、サービスの改善や顧客満足度向上に不可欠な情報だからです。 また、 キャンセル理由をカテゴリに分類することで、 傾向の把握: どんな理由でキャン

BigQueryで時系列予測を試してみた 🔖 2

Effect.tsはストリームを扱う目的でも便利だよ、という話 with BigQuery Storage Write API 🔖 2

この記事の目標クオータを越えないようにしつつ、BigQueryにStorage Write APIでインサートしてみよう。ということになります。この記事を読むにあたって、BigQueryの知識は必要ないです。詳しくはBigQuery Storage Write API の概