Athenaとは

 一言メモ

S3上のオブジェクトに対して、直接クエリを投入できるサービス。


利点

  • 即時性
    • サーバレスのためすぐにデータのクエリを実行できる。サーバーやDWHの設定や管理が不要。
    • GlueのデータカタログにS3上のデータをテーブルとして登録していたら、すぐにクエリを実行できる。

  • 高速性
    • 並列分散処理による高速なクエリ実行が可能。

  • オープン
    • 内部でOSSのPrestoというエンジンを使用しているため、CSV、JSON、ORC、Parquet などのさまざまな標準データフォーマットに対応可能。

  • シンプルな課金体系
    • クエリごとにスキャンされたデータ量に応じた金額が掛かる。クエリを投入しなければ課金は発生しない。
    • 2022年現在、課金は 1 テラバイトごとに 5 USD。
    • データの圧縮、分割、列形式への変換を行うことにより、クエリに対するコストを 30%～90% 削減することが可能。


用途

  • アドホック／ディスカバリー的な分析のように、ワークロードに波があるような（非定常的な）業務。


コメント

コメントを投稿

このブログの人気の投稿

【論文メモ】A systematic literature review on source code similarity measurement and clone detection: techniques, applications, and challenges

  原論文 A systematic literature review on source code similarity measurement (arxiv.org) Abstract ソースコードの類似性を測定し評価することは、コード推薦、重複コード、盗作、マルウェア、およびスメル（異臭）検出など、幅広いアプリケーションにおける基本的なソフトウェアエンジニアリング活動です。本論文は、既存のアプローチとその特性に光を当てるため、コードの類似性測定と評価技術に関する体系的な文献レビューとメタ分析を提案します。私たちは最初に、4つのデジタルライブラリをクエリして1万以上の記事を見つけ、最終的に136件の主要な研究を抽出しました。研究は、その方法論、プログラミング言語、データセット、ツール、およびアプリケーションに従って分類されました。深い調査の結果、5つのアプリケーションドメインで8つの異なる技術を用いて動作するソフトウェアツールが80あります。ツールの約49％がJavaプログラムで動作し、37％がCおよびC++をサポートしていますが、多くのプログラミング言語はサポートされていません。注目すべき点は、ソースコードの類似性測定と重複コードに関連する12のデータセットが存在し、そのうちの8つのデータセットのみが公開されていることでした。信頼性のあるデータセットの不足、経験的評価、ハイブリッド手法、およびマルチパラダイム言語への焦点が、この分野の主な課題です。コードの類似性測定の新興アプリケーションは、メンテナンスに加えて開発フェーズに集中しています。
続きを読む

【論文メモ】＜2022＞コードクローン検索手法の調査

原論文：   _pdf (jst.go.jp) 自然文をクエリとしたコード検索手法 Leveraging usage similarity for effective retrieval of examples in code repositories [2], 2010 Leveraging usage similarity for effective retrieval of examples in code repositories | Proceedings of the eighteenth ACM SIGSOFT international symposium on Foundations of software engineering Deep Code Search [12], 2018 Deep Code Search | IEEE Conference Publication | IEEE Xplore Sourcerer: mining and searching internet-scale software repositories [25], 2009 Sourcerer: mining and searching internet-scale software repositories: Data Mining and Knowledge Discovery: Vol 18, No 2 (acm.org) コード片をクエリとしたコード検索手法  
続きを読む

【論文】A Survey on Causal Inference＜2021＞

原本： A Survey on Causal Inference (acm.org)   因果推論（コーサク推論）は、統計学、コンピュータサイエンス、教育学、公共政策、経済学など、多くの分野で長年にわたり重要な研究トピックです。近年、観察データから因果効果を推定することは、ランダム化比較試験と比較して、膨大な利用可能なデータと低予算の要求により、魅力的な研究方向になりつつあります。急速に発展している機械学習分野の恩恵を受け、観察データに対する因果効果推定手法がさまざまに考案されています。この調査では、因果推論のフレームワークとしてよく知られている「潜在的効果」フレームワークに基づく因果推論手法の包括的なレビューを提供します。手法は、潜在的効果フレームワークの3つの仮定すべてを必要とするかどうかによって、2つのカテゴリに分けられます。各カテゴリについて、従来の統計学的手法と最近の機械学習を用いた強化手法の両方について議論し、比較を行います。また、広告、レコメンデーション、医療などへの応用事例も紹介しています。さらに、ベンチマークデータセットやオープンソースコードについてもまとめており、研究者や実践者が因果推論手法の探索、評価、適用を行うことを容易にします。 1. Introduction 日常会話では、相関関係と因果関係は混同して使われることがよくありますが、実際には解釈が大きく異なります。相関関係は、2つの変数間に一般的に見られる関係を示します。例えば、2つの変数が共に増えたり減ったりするような傾向があれば、相関関係にあると言えます [7]。一方、因果関係は原因と結果の関係であり、原因がある程度結果を引き起こし、結果は原因に依存しているような関係です。因果推論とは、効果の発生条件に基づいて因果関係を結論付けるプロセスです。因果推論と相関関係の推論との主な違いは、前者が原因を変えたときに効果変数の反応を分析する点にあります [104, 150]。「相関関係は因果関係を示唆しない」というのは有名な言葉です。例えば、ある研究では、朝食を食べる女の子の方が朝食を食べない女の子よりも体重が軽いという結果が出たため、朝食はダイエットに効果があると結論付けました。しかし、実際にはこの2つの事象は相関関係にすぎず、因果関係ではない可能性があります。朝食を毎日食べる女の子は、運動をよ
続きを読む