Athenaとは

 一言メモ

S3上のオブジェクトに対して、直接クエリを投入できるサービス。


利点

  • 即時性
    • サーバレスのためすぐにデータのクエリを実行できる。サーバーやDWHの設定や管理が不要。
    • GlueのデータカタログにS3上のデータをテーブルとして登録していたら、すぐにクエリを実行できる。

  • 高速性
    • 並列分散処理による高速なクエリ実行が可能。

  • オープン
    • 内部でOSSのPrestoというエンジンを使用しているため、CSV、JSON、ORC、Parquet などのさまざまな標準データフォーマットに対応可能。

  • シンプルな課金体系
    • クエリごとにスキャンされたデータ量に応じた金額が掛かる。クエリを投入しなければ課金は発生しない。
    • 2022年現在、課金は 1 テラバイトごとに 5 USD。
    • データの圧縮、分割、列形式への変換を行うことにより、クエリに対するコストを 30%～90% 削減することが可能。


用途

  • アドホック／ディスカバリー的な分析のように、ワークロードに波があるような（非定常的な）業務。


コメント

コメントを投稿

このブログの人気の投稿

【論文】ChatGPT Prompt Patterns for Improving Code Quality, Refactoring, Requirements Elicitation, and Software Design

2303.07839   論文概要 ソフトウェアエンジニアリングにおけるプロンプト設計技術を、パターンの形式で紹介。 大規模言語モデル（LLM）、例えば ChatGPT を使用して一般的なソフトウェアエンジニアリングの活動を自動化する際に生じる、一般的な問題を解決する方法を提案。例えば、コードをサードパーティライブラリから分離することや、要件リストから API 仕様を作成することなどが含まれる。 ソフトウェアエンジニアリングにおける LLM の活用に関する研究に対する論文の貢献： ソフトウェアエンジニアリング向けのパターンのカタログを提供し、それらを解決する問題の種類ごとに分類する。 要件抽出、迅速なプロトタイピング、コード品質の向上、デプロイメント、およびテストの改善に適用された複数のプロンプトパターンを探求する。 はじめに ソフトウェアエンジニアリングタスクの自動化におけるLLMとプロンプトの概要 一般的に、LLMとの対話は「プロンプト」を入力することで行われる。プロンプトとは、LLMにコンテキストを提供し、テキストの生成を誘導するための自然言語による指示のことである。 チャットベースの環境では、プロンプトはユーザーが ChatGPT などのLLMに送信するチャットメッセージとして機能する。本論文では、ChatGPT を活用したチャット対応のLLMに焦点を当てて議論を進める。 プロンプトの使い方には大きく分けて二つの方法がある。本論文では、これら二種類のプロンプトパターンについて詳しく扱う。 LLMに直接情報を求めたり、コードを生成させたりする方法。 LLMに特定のルールを指示し、それに従わせる方法（例：特定のコーディング規約に準拠させる）。 ソフトウェアエンジニアリングタスク向けのプロンプトパターンの概要 本論文は、以前の研究で提案した プロンプトパターン の概念 [9] に基づいている。プロンプトパターンとは、LLMとの対話における問題を解決するための再利用可能なプロンプト設計である。 プロンプトパターンは、ソフトウェアパターン [10], [11] と同様に、優れた設計経験を形式化したものであり、プログラムが特定の設計原則やセキュアコーディングガイドライン に準拠することを保証するなど、LLMとの対話における一般的な問題に対する再利用可能な解決策を...
続きを読む

【論文】2023 Large Language Models for Software Engineering: Survey and Open Problems

  [2310.03533] Large Language Models for Software Engineering: Survey and Open Problems 要旨 本論文は、ソフトウェアエンジニアリング（SE）分野における大規模言語モデル（LLM）の新たな応用領域に関する調査を提供します。また、ソフトウェアエンジニアが直面する技術的課題にLLMを適用するための今後の研究課題も提示します。LLMの新たに生じた特性は、コーディング、設計、要求仕様、修復、リファクタリング、パフォーマンス改善、ドキュメント作成、および分析など、ソフトウェアエンジニアリング活動全体にわたり、斬新で創造的な応用可能性をもたらします。しかし、これらの特性は同時に大きな技術的課題も伴い、ハルシネーションのような誤った解答を排除するための信頼性ある手法が求められています。我々の調査は、信頼性が高く効率的で効果的なLLMベースのSEシステムを開発・導入する上で、従来のSEとLLMを組み合わせたハイブリッド技術が重要な役割を果たすことを明らかにしています。 Introduction 本論文は、大規模言語モデル（LLM）をソフトウェアエンジニアリング（SE）に応用する分野における最新の進展、技術的な進歩、および実証的な結果を調査したものです。この調査を通じて、急速に発展しているものの、まだ初期段階にあるこの研究分野における空白を浮き彫りにしています。また、文献におけるギャップや技術的な機会に基づき、ソフトウェアエンジニアリング研究コミュニティにとっての未解決の問題や課題も特定しています。 この急速に拡大する分野を網羅することは難しいものの、本調査がSEにおける新たなLLMベースの分野の初期段階の全体像を把握するのに役立つことを期待しています。この分野の科学的・技術的な構造はまだ形成されつつありますが、既に今後の研究の方向性や取り組むべき技術的な課題、また、将来に向けた有望な研究の道筋を確認することが可能です。 特に、ソフトウェアエンジニアリングの既存のトレンドや確立されたアプローチ、サブディシプリン（分野）との関連性や共鳴が見受けられます。また、技術的な課題も多く存在する一方で、この分野の未来には楽観的な要素も少なくありません。多くの研究者が科学的にも、また経験則としても指摘して...
続きを読む

参考論文：コードクローン検出において比較する候補の絞り方

  軽量な類似度計算によるプロジェクト間のソースファイル集合の再利用検出.pdf ソースコードから作成した木構造の断片について、LSHを用いてクラスタリングすることで高速にコードクローンを検出[13]。 DECKARD: Scalable and accurate tree-based detection of code clones (smu.edu.sg) ソースコードから作成したTF-IDFベクトルについて、cross-polytope LSHを用いてクラスタリングし、コードブロック単位でのコードクローンを検出[14]。 _pdf (jst.go.jp) 転置インデックスを使って比較するべき候補を絞ることで、効率的にコードクローンを検出[15]。 1512.06448 (arxiv.org)
続きを読む