投稿

【論文】2023 Large Language Models for Software Engineering: Survey and Open Problems

  [2310.03533] Large Language Models for Software Engineering: Survey and Open Problems 要旨 本論文は、ソフトウェアエンジニアリング（SE）分野における大規模言語モデル（LLM）の新たな応用領域に関する調査を提供します。また、ソフトウェアエンジニアが直面する技術的課題にLLMを適用するための今後の研究課題も提示します。LLMの新たに生じた特性は、コーディング、設計、要求仕様、修復、リファクタリング、パフォーマンス改善、ドキュメント作成、および分析など、ソフトウェアエンジニアリング活動全体にわたり、斬新で創造的な応用可能性をもたらします。しかし、これらの特性は同時に大きな技術的課題も伴い、ハルシネーションのような誤った解答を排除するための信頼性ある手法が求められています。我々の調査は、信頼性が高く効率的で効果的なLLMベースのSEシステムを開発・導入する上で、従来のSEとLLMを組み合わせたハイブリッド技術が重要な役割を果たすことを明らかにしています。 Introduction 本論文は、大規模言語モデル（LLM）をソフトウェアエンジニアリング（SE）に応用する分野における最新の進展、技術的な進歩、および実証的な結果を調査したものです。この調査を通じて、急速に発展しているものの、まだ初期段階にあるこの研究分野における空白を浮き彫りにしています。また、文献におけるギャップや技術的な機会に基づき、ソフトウェアエンジニアリング研究コミュニティにとっての未解決の問題や課題も特定しています。 この急速に拡大する分野を網羅することは難しいものの、本調査がSEにおける新たなLLMベースの分野の初期段階の全体像を把握するのに役立つことを期待しています。この分野の科学的・技術的な構造はまだ形成されつつありますが、既に今後の研究の方向性や取り組むべき技術的な課題、また、将来に向けた有望な研究の道筋を確認することが可能です。 特に、ソフトウェアエンジニアリングの既存のトレンドや確立されたアプローチ、サブディシプリン（分野）との関連性や共鳴が見受けられます。また、技術的な課題も多く存在する一方で、この分野の未来には楽観的な要素も少なくありません。多くの研究者が科学的にも、また経験則としても指摘しているよう
コメントを投稿
続きを読む

参考論文：コードクローン検出において比較する候補の絞り方

  軽量な類似度計算によるプロジェクト間のソースファイル集合の再利用検出.pdf ソースコードから作成した木構造の断片について、LSHを用いてクラスタリングすることで高速にコードクローンを検出[13]。 DECKARD: Scalable and accurate tree-based detection of code clones (smu.edu.sg) ソースコードから作成したTF-IDFベクトルについて、cross-polytope LSHを用いてクラスタリングし、コードブロック単位でのコードクローンを検出[14]。 _pdf (jst.go.jp) 転置インデックスを使って比較するべき候補を絞ることで、効率的にコードクローンを検出[15]。 1512.06448 (arxiv.org)
コメントを投稿
続きを読む

データフレームの結合例

import pandas as pd from pandas.tseries.offsets import DateOffset # サンプルデータの作成 df1 = pd.DataFrame({     '基準年月': ['2023-01', '2023-02', '2023-03'],     '値1': [10, 20, 30] }) df2 = pd.DataFrame({     '基準年月': ['2022-12', '2023-01', '2023-02'],     '値2': [100, 200, 300] }) # '基準年月'列を日付型に変換 df1['基準年月'] = pd.to_datetime(df1['基準年月'], format='%Y-%m') df2['基準年月'] = pd.to_datetime(df2['基準年月'], format='%Y-%m') # df2の'基準年月'を1ヶ月前にシフトした新しい列を作成 df2['基準年月_1ヶ月前'] = df2['基準年月'] + DateOffset(months=1) # 結合 merged_df = pd.merge(df1, df2, left_on='基準年月', right_on='基準年月_1ヶ月前', how='left') # 不要な列を削除 merged_df.drop(columns=['基準年月_1ヶ月前'], inplace=True) print(merged_df)
コメントを投稿
続きを読む

生命保険の代理店に関するメモ

イメージ
  生命保険加入の動機 生命保険に加入しようとする顧客は、様々な動機を持っています。以下に、一般的な動機をいくつか挙げます。 1. 家族の生活保障 万一の死 に備え、遺族の生活を経済的に支えるための保障 教育費 や 住宅ローン などの返済を、遺族の負担を軽減するために担保 事業継承 のための資金準備 2. 老後の資金準備 老後の生活費 や 介護費用 の準備 相続税 の支払い対策 資産形成 や 節税 としての活用 3. 医療費や介護費への備え 高額な医療費 や 介護費 の負担に備える がん保険 などの特定の疾病に備える 介護保険 との連携 4. その他の動機 リスク回避 や 安心感 の獲得 税制上の優遇措置 の活用 金融商品の知識がない ため、専門家のアドバイスを求める 動機を把握した提案が重要 販売代理店は、顧客の個々の状況やニーズをしっかりと把握し、適切な生命保険商品を提案することが重要です。 顧客とのコミュニケーションのポイント 傾聴 ：顧客の話をじっくりと聞き、不安や悩みを理解する 情報提供 ：生命保険の仕組みや商品の特徴をわかりやすく説明する 提案 ：顧客のニーズに合った商品を提案し、メリットとデメリットを説明する サポート ：契約後の手続きや相談にも丁寧に対応する ご質問があれば、お気軽にお問い合わせください。 参考になる情報源 生命保険に関する情報を提供しているウェブサイトをいくつかご紹介します。 一般社団法人 日本生命保険協会 : https://www.seiho.or.jp/ 金融庁 : https://www.fsa.go.jp/en/ 顧客の生命保険加入動機を高める要因 顧客が生命保険に加入する動機は様々ですが、以下のような特徴量を組み合わせることで、その傾向をある程度推測することができます。 1. 顧客の属性とライフステージ 年齢 : 一般的に、年齢が高くなるにつれて、死亡リスクや医療費への不安が高まり、生命保険への加入意欲も高くなります。 性別 : 男女間で生命保険に対するニーズや加入動機は異なる場合があります。 家族構成 : 配偶者や子供がいる場合、遺族の生活保障を重視する傾向があります。 職業 : 職業によるリスクや収入の安定性も、生命保険への加入動機に影響を与えます。 資産状況 : 資産
コメントを投稿
続きを読む

閾値最適化するざんす！

LightGBMモデルの予測確率から2値に分類する際の閾値を最適化するためのコードを以下に示します。このコードでは、F1スコア、F2スコア、F0.5スコアの最適化を行います。具体的には、予測確率に対する各スコアの最大値を与える閾値を見つけるために、複数の閾値を試してそれぞれのスコアを計算します。 以下はそのためのPythonコードです： python コードをコピーする import numpy as np import lightgbm as lgb from sklearn.metrics import f1_score, fbeta_score from sklearn.model_selection import train_test_split # ダミーデータの作成（実際のデータを使用してください） X, y = np.random.rand( 1000 , 10 ), np.random.randint( 0 , 2 , 1000 ) # 訓練データとテストデータに分割 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size= 0.2 , random_state= 42 ) # LightGBMのモデルの訓練 train_data = lgb.Dataset(X_train, label=y_train) params = { 'objective' : 'binary' , 'metric' : 'binary_logloss' , 'boosting_type' : 'gbdt' } model = lgb.train(params, train_data, num_boost_round= 100 ) # テストデータに対する予測確率を取得 y_prob = model.predict(X_test) # 閾値の範囲を設定 thresholds = np.linspace( 0.01 , 0.99 , 100 ) # 各スコアを格納するリスト f1_scores = [] f2_scores = [] f0
コメントを投稿
続きを読む

二値分類問題のモデル作成例

  LightGBMモデルの予測結果を使ってROC曲線を描き、AUC（Area Under the Curve）を計算するためのPythonコードは以下の通りです。ここでは、 sklearn ライブラリを用いています。 import lightgbm as lgb import numpy as np import matplotlib.pyplot as plt from sklearn.metrics import roc_curve, roc_auc_score from sklearn.model_selection import train_test_split # データの準備（例） # X, y = データの読み込みや生成 X, y = ... # あなたのデータセットに置き換えてください # データの分割 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size= 0.2 , random_state= 42 ) # LightGBMのデータセットの作成 train_data = lgb.Dataset(X_train, label=y_train) test_data = lgb.Dataset(X_test, label=y_test, reference=train_data) # モデルの訓練 params = { 'objective' : 'binary' , 'metric' : 'binary_logloss' , 'boosting_type' : 'gbdt' , 'num_leaves' : 31 , 'learning_rate' : 0.05 , 'feature_fraction' : 0.9 } model = lgb.train(params, train_data, valid_sets=[test_data], num_boost_round= 100 , early_stopping_rounds= 10
コメントを投稿
続きを読む