「自動化」のその先へ。BigQueryが切り拓く「自律型データウェアハウス」の未来 🔖 38

データの世界に携わる皆さんなら、「データウェアハウス（DWH）の自動化」という言葉を何度も耳にしてきたことでしょう。日々のETLジョブのスケジューリング、リソースの自動スケーリングなど、私たちは「自動化」によって多くの定型業務から解放されてきました。 しかし、今、BigQuery

BigQueryのSQLいろいろ (1) 数値型 🔖 1

BigQueryのSQLについて、ドキュメントを読んだり実験したりしながら挙動を解き明かしていこうと思います。第1...

「自動化」のその先へ。BigQueryが切り拓く「自律型データウェアハウス」の未来 🔖 38

データの世界に携わる皆さんなら、「データウェアハウス（DWH）の自動化」という言葉を何度も耳にしてきたことでしょう。日々のETLジョブのスケジューリング、リソースの自動スケーリングなど、私たちは「自動化」によって多くの定型業務から解放されてきました。しかし、今、BigQuery

監査ログ検索が27倍高速化。BigQuery 移行でコスト削減と高速化を両立した BaseMachina のログ分析基盤 🔖 1

BigQueryで使えるストアドプロシージャ入門：再利用・自動化・セキュリティに効く！ 🔖 1

ストアドプロシージャとは？BigQueryのストアドプロシージャは、他のクエリやプロシージャから呼び出せるSQLステートメントの集合です。以下のような特徴があります：何度でも使えるSQLのまとまり名前をつけてBigQueryのデータセットに保存できる引数（入力）...

BigQueryの本番データがすべて消えた日 - 大規模障害から学んだ復旧と再発防止策 🔖 38

はじめに こんにちは！AI技術開発室のYTです。 ケアネットでは、本番データウェアハウスとしてBigQueryを導入しています。ユーザー向けサービスと連動はしておらず、データ解析を目的とし、複数の部署が単一のGoogle Cloudプロジェクトを共有してデータを集約する運用をとっ

BigQueryのクエリのパフォーマンス最適化をClaude Codeに行なわせる - yasuhisa's blog 🔖 26

背景: データ基盤の運用ではクエリのパフォーマンス最適化と向き合わないといけない機会が多い 課題: クエリ改善のヒント、実行情報は見るのが難しい 解決方法: 実行情報とクエリ最適化の紐付けをClaude Codeにさせる 工夫ポイント1: 実行情報をINFORMATION_SCH

BigQueryの本番データがすべて消えた日 - 大規模障害から学んだ復旧と再発防止策 🔖 38

はじめにこんにちは！AI技術開発室のYTです。ケアネットでは、本番データウェアハウスとしてBigQueryを導入しています。ユーザー向けサービスと連動はしておらず、データ解析を目的とし、複数の部署が単一のGoogle Cloudプロジェクトを共有してデータを集約する運用をとっ

BigQuery SQLを劇的に進化させる！効率化と柔軟性を高める5つの新機能 🎉 🔖 13

BigQueryをお使いの皆さん、日々のデータ分析、本当にお疲れ様です！BigQueryのSQLは、大規模なデータセットを扱う上で強力なツールですが、「もっと効率的に書けたら」「もっと柔軟にデータを扱えたら」と感じたことはありませんか？そんな皆さんの声に応える、SQL記述の効

BigQuery MLを用いたフリーテキストのカテゴリ分類 🔖 4

はじめに こんにちは！ データエンジニアの森下です。今回はBigQuery MLからGeminiを使用したフリーテキストの分類についてお話しようと思います。BigQuery ML を業務で使うのは初めてでしたが、思ったより簡単に SQL から LLM を呼び出すことができ、業務へ

BigQueryML の TimesFM で学習不要な「ゼロショット」の時系列予測を試してみた 🔖 3

はじめにこんにちは、クラウドエースの木村です。Google Cloud の BigQuery ML にモデルの学習やチューニングを一切行わずに、時系列データの予測ができる TimesFM が登場しました。この記事では、TimesFM の仕組みから、実際の SQL を使ったハ

BigQueryのINFORMATION_SCHEMA向けサンプルクエリ集 🔖 1

G-genの min です。本記事では、BigQuery の INFORMATION_SCHEMA に対するクエリ例を紹介します。コスト管理、開発の効率化、運用のために活用してください。 仕様 INFORMATION_SCHEMA とは 料金 必要な権限 制約事項 注意点 コスト

BigQuery scheduled query では partitioning_field を指定できるが、公式ドキュメントがわかりにくい 🔖 1

公式ドキュメントが説明不足でつらい気持ちになったので、この記事を書くことにしました。 BigQuery scheduled query とはBigQuery scheduled query とは、 BigQuery 上でクエリをスケジュール実行し、その結果を BigQuer

クエリそのままパフォーマンスを改善 BigQuery パフォーマンス向上テクニック 🔖 32

どんなシステムでも導入してしばらく経つと、パフォーマンスを最適化したくなってきますよね。もちろんBigQueryも例外ではありません。DWHのチューニングというと、SQLを書き換えたり、テーブルを非正規化したりして性能を改善するのが最初に思いつくかもしれませんが、正直、少し面倒

OracleのSQLをそのままBigQueryで動かしたいんですよ、絶対に。 🔖 3

【Unit4 ブログリレー9日目】 何言ってるんですかね。でも、見てみたいかも。こんにちは、エムスリーエンジニアリンググループの福林 (@fukubaya) です。 OracleのSQLに手を加えることなくBigQueryで実行させたいことってよくありますよね(ない)。今回はその

BigQueryで機械学習 時系列推移の異常を検知する - ドワンゴ教育サービス開発者ブログ 🔖 51

はじめに ドワンゴ教育事業でデータアナリストとして働いている小林です。 ZEN大学の開学やR高校の開校で今年の春は例年にもまして賑やかなものでした。ライブストリーミングされていた入学式やオリエン番組などを眺めていると皆様の人生の節目に立ち会えた嬉しさとともに、より良いサービスを作

なぜBigQuery Editionsのクエリ単位のコストは正確に計算できないのか 🔖 19

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ご興味のある方は、ぜひご応募ください。 風音屋データエンジニア

もうLoadの前処理は不要？ BigQueryのデータロードを劇的に改善する4つの新機能 🔖 1

tl;drBigQueryのLOAD DATAが強化。タイムゾーン/日時形式の変換、複数NULL値の対応、CSVの列名マッチングがSQLだけで可能になりました。BigQueryをお使いの皆さん、こんにちは！BigQueryへデータを投入する際、ソースデータの形式が多種多様

もうLoadの前処理は不要？ BigQueryのデータロードを劇的に改善する4つの新機能 🔖 1

tl;drBigQueryのLOAD DATAが強化。タイムゾーン/日時形式の変換、複数NULL値の対応、CSVの列名マッチングがSQLだけで可能になりました。BigQueryをお使いの皆さん、こんにちは！BigQueryへデータを投入する際、ソースデータの形式が多種多様

BigQueryへのデータ転送方式移行でマルチリージョンに苦しんだ話 🔖 1

はじめにはじめまして、4月からatama plusにデータエンジニアとしてジョインしたTackungです。弊社ではデータ基盤にBigQueryを採用しており、プロダクト側で日々発生するデータをTROCCOやGoogle Cloud Dataform、Composerを使った日

DataformでBigQueryのPython UDFを管理する事例紹介 🔖 1

こんにちは、atama plus でデータエンジニアをしている kumewata です。先日プレビュー版が公開された BigQuery の Python UDFを、Dataform 経由で利用してみたので紹介します。 背景弊社で利用している BigQuery 上で iCa

BigQueryのメタデータ自動生成を解説 🔖 1

G-genの杉村です。BigQuery テーブルのデータをスキャンして、AI がテーブルのメタデータ（テーブルとカラムの説明）を自動生成するメタデータ自動生成機能を解説します。 はじめに テーブルのメタデータとは メタデータの自動生成 仕様 分析情報からのメタデータ自動生成 料金

BigQueryで自由記述形式のデータを分類する方法 Part 2 ~ Vector Search 編 ~ - Nealle Developer's Blog 🔖 22

はじめに さて今回はBigQueryで自由記述形式のデータを分類するPart 2ということで、予告通りVector Search を利用したテキスト分類を手軽にできるのか検証していきたいと思います。 （前回のブログでVector Search Indexと述べてますが、Vecto

BigQueryで自由記述形式のデータを分類する方法 Part 2 ~ Vector Search 編 ~ 🔖 22

はじめに さて今回はBigQueryで自由記述形式のデータを分類するPart 2ということで、予告通りVector Search を利用したテキスト分類を手軽にできるのか検証していきたいと思います。 （前回のブログでVector Search Indexと述べてますが、Vecto

BigQuery MCPサーバーを作ってみる 🔖 1

はじめに はじめまして。 データ本部でデータエンジニアをやっている@takaHALです。 最近、MCP（Model Context Protocol）を活用した様々なツールが登場し、ClaudeやCursorなどのAIツールでできることが急速に拡大していますよね。 今回は、MCP

BigQueryからCloudSQL（MySQL）へデータをインポートする 🔖 1

こんにちは。GMO NIKKOのharuです。 業務でBigQueryテーブルをCloudSQL（MySQL 8.0）テーブルに移送する必要があり、その時に色々と苦労したので、備忘録も兼ねて実装時に工夫した点/苦労した点

Grafana のデータソース乱立を解決。BigQuery で DB 可視化を一本化する federated queries 術 🔖 1

概要本記事では、Grafana でマネージド Relational Database (以下、マネージド RDB) を効率よく可視化する方法を紹介します。BigQuery の外部接続機能を利用して Cloud SQL for PostgreSQL のデータに接続し、Grafa

BigQuery MLで貢献度分析：「速く・広く・深い」インサイトを得る方法 - NRIネットコムBlog 🔖 14

はじめに 貢献度分析とは 今回使うデータの紹介 BigQuery で貢献度分析をする際のステップ ステップ① データの準備 ステップ② モデルの作成 ステップ③ インサイトを見てみよう まとめ はじめに ジブリの音楽を演奏できるようになることを夢見て、最近カリンバという楽器を購入

BigQueryのCronJob向けQAテストを自動化した話 🔖 1

AI・機械学習チームの鴨田です。このブログはAI・機械学習チームブログリレー 9日目の記事です。 年末休みに話題の書籍『Tidy First?』を読みました。コード整理の実践的な手法や作業粒度によるトレードオフなどを学び、「最初から完璧な設計なんてできるわけない。コード品質を保つ

BETWEENに気をつけろ！BigQueryの日次集計で罠にハマった話 - エムスリーテックブログ 🔖 42

こんにちは。AI・機械学習チームの高田です。このブログはAI・機械学習チームブログリレー7日目の記事です。 はじめに 私たちAI・機械学習チームでは、機械学習モデルの学習データ準備やデータパイプライン開発のために日次でのデータ集計をしています。これらの集計データは、モデルの精度評

BETWEENに気をつけろ！BigQueryの日次集計で罠にハマった話 🔖 42

こんにちは。AI・機械学習チームの高田です。このブログはAI・機械学習チームブログリレー7日目の記事です。 はじめに 私たちAI・機械学習チームでは、機械学習モデルの学習データ準備やデータパイプライン開発のために日次でのデータ集計をしています。これらの集計データは、モデルの精度評

Effect.tsはストリームを扱う目的でも便利だよ、という話 with BigQuery Storage Write API 🔖 1

この記事の目標クオータを越えないようにしつつ、BigQueryにStorage Write APIでインサートしてみよう。ということになります。この記事を読むにあたって、BigQueryの知識は必要ないです。詳しくはBigQuery Storage Write API の概

BigQueryで自由記述形式のデータを分類する方法 Part 1 - Nealle Developer's Blog 🔖 30

はじめに Park Directでは利用者が駐車場契約の申し込みをキャンセルする時に理由を自由記述形式で入力してもらっています。なぜなら、サービスの改善や顧客満足度向上に不可欠な情報だからです。 また、 キャンセル理由をカテゴリに分類することで、 傾向の把握: どんな理由でキャン

BigQueryで自由記述形式のデータを分類する方法 Part 1 🔖 30

はじめに Park Directでは利用者が駐車場契約の申し込みをキャンセルする時に理由を自由記述形式で入力してもらっています。なぜなら、サービスの改善や顧客満足度向上に不可欠な情報だからです。 また、 キャンセル理由をカテゴリに分類することで、 傾向の把握: どんな理由でキャン

BigQueryで時系列予測を試してみた 🔖 2

Effect.tsはストリームを扱う目的でも便利だよ、という話 with BigQuery Storage Write API 🔖 2

この記事の目標クオータを越えないようにしつつ、BigQueryにStorage Write APIでインサートしてみよう。ということになります。この記事を読むにあたって、BigQueryの知識は必要ないです。詳しくはBigQuery Storage Write API の概

サクッとできる、型安全なスタブデータでの BigQuery テスト - エムスリーテックブログ 🔖 38

はじめに はじめまして。基盤開発チーム/Unit3を兼務している林です。 エムスリーではデータ基盤として BigQuery を全社的に使っていますが、 BigQuery を使ったアプリケーションやバッチを実装するときに、テストをどうするべきかは難しい問題です。*1 本記事では、B

サクッとできる、型安全なスタブデータでの BigQuery テスト 🔖 38

はじめに はじめまして。基盤開発チーム/Unit3を兼務している林です。 エムスリーではデータ基盤として BigQuery を全社的に使っていますが、 BigQuery を使ったアプリケーションやバッチを実装するときに、テストをどうするべきかは難しい問題です。*1 本記事では、B

BigQuery Data Transfer Serviceでイベントドリブンにデータを取り込む方法 🔖 1

G-genの福井です。BigQuery Data Transfer Service のイベントドリブン機能の設定手順を紹介します。 イベントドリブン転送の概要 BigQuery Data Transfer Service とは ユースケース アーキテクチャ 制限事項 料金 事前準

BigQuery × GitHubで始める行動量の可視化【AI導入後の変化をラフに捉えるために】 | Wantedly Engineer Blog 🔖 20

こんにちは。ウォンテッドリーでバックエンドエンジニアをしている市古（@sora_ichigo_x）です。 最近は Enabling チームとしての役割を持ち、Visit の新規開発や、バックエンドアーキテクチャの改善に取り組んでいます。 現在、Enablingチームでは技術的な取

BigQuery × GitHubで始める行動量の可視化【AI導入後の変化をラフに捉えるために】 🔖 20

こんにちは。ウォンテッドリーでバックエンドエンジニアをしている市古（@sora_ichigo_x）です。最近は E...

BigQuery MLで貢献度分析：「速く・広く・深い」インサイトを得る方法 🔖 14

はじめに 貢献度分析とは 今回使うデータの紹介 BigQuery で貢献度分析をする際のステップ ステップ① データの準備 ステップ② モデルの作成 ステップ③ インサイトを見てみよう まとめ はじめに ジブリの音楽を演奏できるようになることを夢見て、最近カリンバという楽器を購入

Cloud Run機能とオプション/BigQuery最新機能/Cloud Next 最新トレンド 🔖 1

こんにちは、ブログ運営担当の小野です。 5/21（水）19:00～20:00 当社主催の勉強会「NRIネットコム TECH & DESIGN STUDY #65」が開催されます!! 【ウェビナー概要】 今回のTECH & DESIGN STUDYでは、当社エンジニアから「コンソー

Cloud DLP を使って BigQuery に入っている個人情報を検知する 🔖 1

Cloud Data Loss Prevention (以下 Cloud DLP) は機密データを保護するための Google Cloud のサービス。渡したデータや指定したストレージに入っているデー

BigQuery の新関数「AI.GENERATE」を試してみた 🔖 1

はじめに 検索インテントとは AI.GENERATE 関数の概要と一般的な利用シーン AI.GENERATE 関数の利用に際した前提事項 検索クエリのインテント分類の検証 まとめ はじめに 久石譲のスタジオジブリフィルムコンサートが当選して嬉しい、ジブリ好き（特に、紅の豚）の松村

BigQuery Python UDF 完全に理解した 🔖 4

マイベスト データエンジニアの snhryt です。先月頭に、BigQueryにユーザー定義関数 (UDF) をPythonで書ける機能がプレビュー版でやってきました🎉少し時間が空いてしまいましたが、自分でもいろいろ触って完全に理解した[1]ので、体験記をまとめます。!P

BigQueryとGeminiの連携で広がるSQLの世界 | 株式会社プリンシプル 🔖 44

近年、生成AIの活用が企業のデータ分析において重要なトレンドとなっています。その中で、BigQueryが提供する”ML.GENERATE_TEXT”関数は、データベースとAIの融合という新しい可能性を開きました。 この関数を使うには「存在そのものがあまり知られていない」「使い方が

BigQuery MLの新機能「TimesFM」を試してみた - NRIネットコムBlog 🔖 47

はじめに TimesFM とは TimesFM の一般的な利用シーン 実際に使ってみた 予測精度を実測値と比較してみる まとめ はじめに ラスベガスから帰国後、アメリカのジャンキーなご飯と色の濃い飲料が恋しい、松村です。 本ブログでは、前回投稿した記事（※1）にてご紹介した Bi

BigQuery MLの新機能「TimesFM」を試してみた 🔖 47

はじめに TimesFM とは TimesFM の一般的な利用シーン 実際に使ってみた 予測精度を実測値と比較してみる まとめ はじめに ラスベガスから帰国後、アメリカのジャンキーなご飯と色の濃い飲料が恋しい、松村です。 本ブログでは、前回投稿した記事（※1）にてご紹介した Bi

LLMを活用した商品検索タグ自動生成とRecall改善の取り組み(BigQuery × Gemini) - 10X Product Blog 🔖 56

はじめに 課題：情報不足による検索ヒット率の低さ 施策：LLMによる検索タグの自動生成と活用 なぜタグ生成か？ 設計 JANコード単位での生成と管理 タグデータの更新について タグ生成の品質とリスク プロジェクトの進め方 1. PoC：タグ自動生成の実現可能性と品質検証 2. イ