Amazon Web Services ブログ

Category: Analytics

AWS Weekly Roundup: Amazon Bedrock 上の OpenAI GPT-6 Astra、Amazon Quick デスクトップ GA、学生向け Kiro など (2026 年 9 月 14 日)

ニューヨークの 9 月中旬には、特別なエネルギーがあります。パンプキンスパイスラテがたっぷりとあり、気温も下が […]

Amazon MWAA Serverless で PythonOperator と BashOperator が利用可能に

Amazon MWAA Serverless で PythonOperator と BashOperator が使えるようになり、カスタムの Python 関数やシェルスクリプトをサーバーレスランタイム上で直接実行できます。AWS Lambda 関数や Amazon ECS タスクでコードをラップする必要はありません。本記事では、コードバンドルの仕組みと実行モデルを解説し、PythonOperator で CSV を JSON に変換し BashOperator で出力を検証するパイプラインを AWS CLI で構築します。

Amazon MWAA と Airflow 3.0 によるイベント駆動のパイプラインオーケストレーション

Apache Airflow 3.0 の Asset Watcher と Amazon SQS を組み合わせて、複数の Amazon MWAA 環境や AWS アカウントをまたぐイベント駆動のオーケストレーションを実現する方法を解説します。ポーリングベースのセンサーをイベント駆動のトリガーに置き換えることで、環境間オーケストレーションのレイテンシーを数分から数秒に短縮できます。クロスアカウント IAM、triggerer の健全性、Amazon VPC のネットワーク、DAG 設計のベストプラクティスも紹介します。

Razor Group が AWS でモダンなデータレイクハウスを構築するまでの道のり

Razor Group は 250 以上のブランドを展開する欧州有数の EC アグリゲーターです。本記事では、同社が AWS 上に Apache Iceberg と Amazon S3 Tables を軸としたレイクハウスアーキテクチャを構築し、データプラットフォームを最適化した道のりを紹介します。段階的な移行アプローチ、アーキテクチャ上の意思決定、そしてインフラコスト 63% 削減やクエリ 65% 高速化といった測定可能な成果を取り上げます。

AWS Glue を使用して DynamoDB テーブルエクスポートをフィルタリング、変換、ロードする

この記事では、Amazon DynamoDB のフルまたはインクリメンタルテーブルエクスポートを 2 つ目の DynamoDB テーブルにロード（インポート）する方法を紹介します。何をロードするか、どの書き込みレートでロードするかを正確にコントロールでき、進捗を観察する機能も備えています。この技術は、最大限の制御が必要な大規模なデータマイグレーションや同期を推進するのに役立ちます。ここで説明するメカニズムは、オープンソースの Bulk Executor for DynamoDB のコマンドとして提供されています。これは、DynamoDB テーブルに対してバルクコマンドを実行するためのユーティリティセットです。このコマンドを使用することで、DynamoDB のエクスポート（済みデータ）を細かく制御しながらロードでき、アイテムを変換したり、データをフィルタリングしたり、コマンドのオプションの transform パラメータを使用して宛先テーブルに何を配置するかをカスタマイズしたりできます。

DuckDB で Amazon S3 Tables に格納された表形式データセットへのアクセスを効率化する

DuckDB は軽量なインメモリ SQL エンジンで、追加のサーバー運用なしに対話型のデータ分析を実現します。本記事では、Amazon SageMaker Lakehouse Iceberg REST エンドポイントと AWS Lake Formation のアクセス許可を利用して、AWS CloudShell 上の DuckDB から Amazon S3 Tables に格納された Iceberg テーブルにアクセスし、クエリを実行する手順を紹介します。

← Older posts