エッジ検出画像の中で、明るさなどが変化する点を探す
単回帰分析の式y = ax + b y を目的変数、x を説明変数、aを回帰係数という
マルコフ決定過程・状態遷移を分析し、どの状態を選択していけば、最も早く目標に到達できるかを、確率的に分析するもの・状態、行動、行動確率、報酬の概念を用いて、行動の遷移を分析する
検出力帰無仮説を棄却する能力を示す。1 - 第2種の過誤を犯す確率
無作為抽出標本をランダムに選ぶ。選ばれた標本は、同じ確率で選ばれる。
ディープニューラルネットワークニューラルネットワークの隠れ層を多重化、構造化したもの
ランダムフォレスト・学習セットから、ランダムにデータを抽出し、複数のサブセットをつくる・それぞれのサブセットで、決定木をつくる・それぞれの決定木の結果を統合して判断する
プロダクション・システムif-then の形式で知識を表現するこの表現のしかたを、プロダクションルールという
勾配関数f の勾配とは、f の偏微分すべてを要素とするベクトル。 勾配の i番目の要素は、f の xi に関する偏微分。
ソシーラス・言語処理のために同じ意味の単語や似た意味の単語をまとめた類話辞典・基本的に人が整理する必要があるため、整備するコストが高い
強化学習では、1つ1つの判断・行動についての教師信号は、与えられない一連の判断・行動に対して教師データが与えられる
画像に写っているものを識別する1.特定物体認識ある特定の物体が、画像に写っているか2.一般物体認識人など画像にうつっている物体のカテゴリーを認識する
画像特徴量隣り合う画素同士で、輝度の差が大きい箇所が、特徴量となることが多い
Q学習・ある状態で、ある行動をとった場合の価値を 状態行動値(Q値)とよぶび、Q値を最適にするようにしたもの・Q値の計算にディープラーニングを利用するものを 深層Qネットワーク(DQN)という
複合仮説帰無仮説が棄却されたときに、対立仮説が複数ある場合のこと
Bag-of-feature・画像認識の手法の1つ・同じ種類の物体の画像は、同じような所(特徴)が多いと考える・学習した特徴から画像を判断する
不偏分散偏差の平方和を、標本数の代わりに、自由度で割ったもの
フェデレーション・ラーニング予測モデルのトレーニングを、エッジとサーバの両方で連携して行う技術
MLOpsAIの運用によって得られた最新データを使って、再学習しながら予測モデルの精度を高め、継続的にディプロイする
ベルヌーイ試行とは、次の条件を満たすもの1.それぞれの試行結果は、成功、失敗のいずれか1つである2.成功確率は、試行を通じて同じ3.試行は、互いに独立n回の試行のうち、何回成功するかを2項分布という
Time Serise Modeling and Forcasting
公開されていた「Time Serise Modeling and Forcasting 」 のキモ部分を読んでみたいと思います概要ポピュラーで、よく利用される、確率的な時系列モデルとしてARIMAがある。このモデルは、時系列は、線形のモデルであらわされ、正規分布など、ある確率分布に従っている、
・リスト配列のようなもの・タプルリストと同じ。ただし、不偏型(Imutabl)で、値の変更はできない・辞書型キーとバリューを記憶する・集合リストと同じようなものただし、要素の重複を許さず要素の順番に意味がない
バッチ学習学習データを、いくつかに分割し、それごとに学習するエポックバッチ学習で、パラメータを更新する1サイクルをエポックという
・simple GA の略・遺伝的アルゴリズムの手順の1つ・SGAでは、次の手順をとる(1)遺伝子プールの初期化(2)交叉および選択(3)突然変異(4)結果の出力(5)(2)に戻り、以降を繰り返す
感度要請の人を、正しく「陽性」と判断できる割合特異度陰性の人を、正しく「陰性」と判断できる割合
形態素解析・自然言語で意味をもつ最小単位を形態素という・形態素解析は、自然言語を、形態素にわけるもの
Sequence-To-Sequenceモデル・翻訳など連続的な入力と、連続的な出力を生成するもの・エンコーダーネットワークと、デコーダネットワークの2つのRNNからなる
LSTMLong Short-Term Memory ニューラルネットワークRNNの問題点を改善して、内部状態を保持することができる
変動係数・変動係数は、標準偏差を平均で割ったもの・これは、単位の異なるデータ内のちらばりを、比較する際に利用される
分類の手法1.クラスタリングk平均法 群平均法2.回帰平均回帰、ベイズ線形回帰3.クラス分離ロジステック回帰、SVM、ニューラルネットワーク決定木、ベイズ推定、ディープラーニング4.次元圧縮主成分分析、特異値分解
最尤法・母集団が従う確率分布が分かっているとき、観測されたデータから母集団を推定する方法・観測されたデータが得られる確率を尤度関数と呼ぶ・尤度関数が最大となる母集団を推定する
SVNのカーネル法・SVNでは、元の出たから、それより高次元のデータを作り出し、分類を行う・次元を高くすることを、カーネルトリックというまた、この手法を、カーネル法という・次元を上げるための関数は、カーネル関数と呼ばれる・カーネル関数には、次のような関数が利用
遺伝的アルゴリズムの処理1.コーティング問題を、遺伝子の型に変換する2.初期設定1.の遺伝子型を元に、個体をランダムに発生させる3.適応度評価個体の適応度を計算する結果が、OKならば処理を終了する4.選択3.の結果をもとに、交叉を行う個体を選択する「適応度比例方式」「
こんな感じです#リストの操作my_list = ['A','B','C']#リストの表示for item in my_list: print(item)
データ分析の方法1.確証的アプローチデータ分析前に仮設があり、それを検証する2.探索アプローチデータを分析し、問題を発見する
誤差逆伝播法とミニバッチミニバッチの単位で誤差をまとめて、伝播させることで、学習効率を高める
ニューラルネットワーク 出力関数・出力層において出力値を決める関数。 活性化関数とは、異なるものを利用することが多い。・分類では、「ソフトマックス関数」などが利用される。 その出力値は、各クラスに属する確率となる
k最近傍法 〇 教師あり学習〇 クラス分類で用いられる〇 次のようなアルゴリズムとなる・新規の x に対して、最も近い既知の x' をk個探す・x に対する y を、k個の x' に対応する y' の中で、最も多いものとする
教師あり学習において、すべての正解が得られない場合は次のように分類できる1.半教師あり学習大量の正解のわからない問題がある2.移転学習解決したい問題には、少量の解しかない3.移転学習解決したい問題には、少量の解しかないが似た問題には、大量の解
データマイニング 1.概要 一見、何の因果関係もないと思われる膨大なデータの集まりから、規則性や法則性を発見する作業 例えば、何の食べ物と飲み物の組み合わせが最も購入されるか、など。 規則性、法則性、すなわち隠れたビジネス
文書の特徴量として、IF-IDF が利用されるIF Term Frequency 文書のなかでの単語の出現頻度を表すIDFInverse Document Frequency 単語の出現する文書数をもとに、算出する
〇 2つのネットワークからなるモデル〇 たとえば、画像の贋作をつくる場合、次のような処理となる・生成ネットワークと識別ネットワークの2つを準備する・生成ネットワークは、ランダムにノイズを生成し、 ノイズを利用して贋作を作る・識別ネットワークは、贋作と本物の
教師あり学習入力データ x と、出力となる y に対してy = f(x) となる fを推定するもの。・分類・回帰・ロジスティク回帰などがある
教師なし学習教師学習なしで、データ間のパターンを発見するもの・クラスタリングデータをクラスタに分ける・アソシエーションデータのパターンに関するルールを発見する。たとえば、xとyを、いっしょに買う顧客を発見する
データマイニングの手順の例1.データのクリーニング2.データの統合複数のデータソースからのデータを統合する ]3.データの選択4.データの変換5.データのマイニング6.パターンの抽出7.表現
プーリング層の役割圧縮処理を行うことで、画像などのズレやゆがみを取り除く
こんな感じでしょうかファイルに書いて、それを、読みますfile = open('myfile.txt', 'w')file.write('Hello\n')file.close()file = open('myfile.txt', 'r')print ( file.read())
1.事象Aの確率P(A) P(A)=n(A) / n(S) n(A)=事象Aの集合の要素数 n(S)=標本空間Sの集合の要素数 (例) 「トランプからエースのカードを引く確率」 カードが52枚あり(標本空間Sの集合
1.集合とは 集合とは、要素と呼ばれるものの集まり Sが集合で、xがSの要素であるときは、x∈Sと書く 2.集合の表現 要素 x, y,zからなる集合Sは、次のように表現する S={x, y,z} 要素のない集合は、空集合とよばれ、Φで表
アプリオリ・アルゴリズム・アソシエーション分析のアルゴリズム・分析対象のアイテムが増えるに従って、組み合わせが膨大になり、計算が不可能になる・そのため、支持度が一定以下のアイテムに対しては、信頼度を計算しない
形態素解析単語を分割し、その単語の品詞を認識する
バスケット分析・顧客が購入する製品間の相関関係を見つける・この関係を表すのが、相関ルール・商品Xを買った人が、商品Yを買っていることが、多いとする・商品Xを買った人で、商品Yを買っていない人は、潜在的な顧客となる
1.文法 def 関数名: で関数を定義します2.サンプル#関数 func1def func1(): return "hello"print(func1())3.実行結果hello が表示されました
前処理 欠損値を埋める方法には、次がある1.平均値を使う2.最小二乗法を使う3.最尤法を使う
「ブログリーダー」を活用して、lemon999さんをフォローしませんか?