【強化学習】Q-Learningの更新式から結果考察まで。ハイパーパラメータ依存性【Part2】

[latexpage] 前回の記事 で、Q-Learningの更新式の説明を行いました。 そして、今回は、実際にQ-Learningで学習した結果をまとめたいと思います。 設定 学習する環境は、以下の通りです。 この状況下で、できるだけ多くの点が取れるように学習します。 探索方法は、ε-greedy法で行います。 コード コードは、こちらです。 pointgameQ8_4-4-4_3D.py コードの書き方が悪かった（探索式が悪かった）ので、εが1以下になっておらず、しかも、むしろεが小さいほど貪欲となる探索式になっています。 コードの探索方法の部分は、以下のようになっています。 def get_action(next_state, episode): #徐々に最適行動のみをとる、ε-greedy法 epsilon = 10. * (1 / (episode + 1)) if epsilon

【強化学習】Q-Learningの更新式から結果考察まで。ハイパーパラメータ依存性【Part1】

[latexpage] みなさんこんにちは。 昔、こんな記事を書きました。 この記事では、Python+ChainerRLを用いて深層強化学習（DQN）を行いました。 記事中では、DQNの前段階として、普通の強化学習であるQ-Learnigのアルゴリズムも作ってみました。 今回は、そのQ-Learningについてまとめようと思います。 Q-Learningとは 強化学習についての説明は他に譲るとして、ここではQ-Learningについて説明します。 Q-Learningは、強化学習に使われるアルゴリズムの一つで、基本的なアルゴリズムといえます。強化学習に使われる基本的なアルゴリズムとしては、他にはSRASA、モンテカルロ法などがあります。 強化学習のアルゴリズムにおけるQ-Learningの立ち位置は、以下の図のような感じです。 Qiita：これから強化学習を勉強する人のための「強化学習アルゴリズム・マップ」と、実装例まとめ から引用 Q-Learningでは、「その状態 に、行動 をすることに、どれだけ価値があるか」を表した行動価値関数 を行動しながら更新していくことで、学習を行います。 強化学習理論 Q-Learningについて述べる前に、強化学習の理論について触れておきます。 マルコフ決定過程（MDP）によるモデル化 マルコフ決定過程によって、強化学習をモデル化していきます（マルコフ決定過程に関しては、Wikipediaなどを参照してください）。 以下では、時刻 における状態を 、行動を 、遷移確率を とし、方策を とします。 ここで、方策 とは、状態が のとき、どのように行動 をとるか、という意味を表します。 利得 利得 は、未来の報酬獲得にどの程度貢献したかを表し、割引率 を用いて、以下の式のように表します。 $$ R_(t )= r_{t+1}+\gamma r

学生は就職活動における推薦は有利になるか？推薦を利用するデメリットとは

学校推薦（学科推薦）で就職とは 就職活動では、学校推薦と自由応募があります。 学校推薦（学科推薦）とは、企業から大学に採用オファーが届き、学長や教授に推薦状を書いてもらうことで、就職採用試験（選抜）を受けられる仕組みです。 一方で、推薦ではなく、自分で行きたい企業にエントリーして受ける、いわゆる一般的な就職活動方法を、自由応募といいます。 大学では、一般的には専攻ごとに採用枠（推薦枠）があります。 基本的には大学（もしくは大学院）の中で優秀な学生から推薦枠を取っていきますが、その選抜方法は大学によって様々です。 推薦と言ったらなんだか楽に就職できるように聞こえますが、推薦にもメリットとデメリットがあるので、これについてお話していきたいと思います。 学校推薦を利用するメリット それなりに受かりやすい 推薦とだけあって、基本的には大学が「この学生はそれなりに優秀です」というお墨付きを与えているわけなので、企業側もそういった目で学生を見ることになり、採用試験にそれなりに受かりやすくなります。 しかし、後述するように、必ず受かるというわけでもないので、推薦が取れたからと言って早とちりしないようにしましょう。 就活時期が早い 一般的には、自由応募よりも早い時期に推薦枠の採用試験が行われます。 推薦で受かれば、入社する企業が早く決まることになるので、大学の勉強や研究室の活動に注力することができます。 自由応募よりも採用試験がシンプルになることが多い 推薦で応募すれば、自由応募では本来ある一次面接を免除されたり、場合によっては、いきなり最終面接を受けることができたりします。 とはいえ、面接は念入りに行われますし、筆記試験も行われる場合も多いので、そこまで自由と差がなかったりします。推薦だからパパっと就活を終わせられるなどと、あまり期待しないほうがよいでしょう。 学校推薦を利用するデメリット 内定を断れない 推薦で受け、受かった企業の内定を断ることは原則できません。これは、第一希望の就職先であるものを受けおり、大学が推薦をしている前提だからです。

お金に困っている大学生はメルカリで賢く生きるべき

フリマアプリのメルカリって、便利ですよね。 メルカリを使えば、自分にとっていらないものでも、人に売ることで、お金を得ることができます。 また、最近ではメルペイ（メルカリ決済サービス）も始まり、ますます便利さは増しています。 ということで、学生はメルカリを使って、賢く生きよう！という内容で、書いていきます。 大学生にとって、メルカリのいいところ メルカリのいいところは、一般には、断捨離のついでに収入が得られるところですが、学生にとってのメルカリのメリットは何でしょうか？ アルバイト以外で収入が得られる（隙間時間に稼ぐ） 学生の多くは、アルバイトをしていますよね。 近年では、学生の貧困化が問題視されることもあり、大学を卒業した後も、奨学金を返し続けたり、自己破産する人もいたりします。 アルバイトで稼ぎ続けてもいいですが、授業やアルバイト時間の合間など、いつでも稼げると、便利ですよね。 そういったものは色々ありますが、メルカリがその一つです。 メルカリでいらないものの写真を撮って登録しておけば、あとはその商品が売れるまで待てばいいのです。 昔やっていたゲームや、昔読んでいた漫画や本を売るだけで、そこそこ稼げます。 僕自身、メルカリの売り上げが生活費の支えとなっています。 ビジネス感覚（物の価値）の勉強になる アルバイトして、好きなものを買っているだけでは、金銭感覚はついても、「いくらなら買ってもらえるか？」というビジネス感覚は身につきません。 高く設定して売っても、もちろん物は売れませんし、安く売りすぎてもこちらが損してしまいます。 最近のメルカリでは、勝手に売れやすい値段を提案してくれますが、それが必ずしも正しいとは限りません。 たとえば、モノを早く売りたいのなら、同じ商品をメルカリで検索して、相場より少し安くしたり、売れている値段と同じくらいにしたりするのもいいでしょう。 他にも、目の引くような商品名のつけ方、写真の撮り方など、差別化が必要です。 メルカリを利用して、学生のうちに、商売感覚をつけましょう！ 安くものを買って、再び売ることで少額で物を利用できる

進学する大学は大学名ではなく、学科（勉強内容）で決めよう【受験生あて】

大学に進学しようとしている受験生に向けて、大学に入学してから大きな後悔を生まないように、記事を書きました。 多くの人は、学びたいことを学べる大学を受験すると思いますが、 「どこの大学か？」よりも、「何を学びたいか？」で大学を決めよう 多くのひとは、受験生のとき、大学で学びたい内容を決めて、学部、学科を決め（できれば、何学科か）、そして自分のレベルにあった大学を決めると思います。 これが、ほとんど正しい決め方です。 しかし、学力が高く、模試などの偏差値が高い人ほど、「何学科か？」よりも「どこの大学か？」を重視するひとが出てきます。 これは、かなり危険な考え方になっています。 塾や予備校に通っているひと、進学校の生徒などは、周りのレベルも高いし、周りには負けたくないと思うばかりに、大学で学ぶ内容を軽く見て、大学名を意識してしまうようです。 中には、「高校や塾に（合格校実績で）貢献したい！」と思うがあまり、ついつい（平均的に）偏差値の高いと思われている大学に行きがちです。 たとえば、あるA大学の工学部と、B大学の理学部があるとしましょう。あなたは、工学部よりも理学部に行きたいとします。 A大学は全国的にも有名な大学で、その大学の名前を知らない人はいないとします。その中で、A大学の工学部は中の下の、55くらいの偏差値だとしましょう。ちなみに、A大学に理学部はないとしましょう。 一方、B大学の有名度はA大学に劣りますし、大学全体の平均的な偏差値もA大学よりも低いですが、B大学の理学部の偏差値55で、あなたが学びたい内容だとしましょう。 どう考えても、あなたはB大学の理学部に行くべきですが、自分の行きたい学部を少し妥協して、「工学部と理学部ならそんなに変わらなさそうだし」と、大学名を進学先の重要なファクターとして入れ、A大学の工学部に行ってしまうひとがいます。 確かに、理学部と工学部では、大学によって、学科によっては似たようなことをやるところもありますが、例えば、理学部生物学科と工学部建築学科では、かなり学ぶ内容が違うのはわかるでしょう。このようなケースにおいても、大学名で （A大学を） 選んでしまうのは危険です。

大学院生に対する世間の認識は「遊んでいる学生」…？【偏見を捨てろ】

みなさんは大学院生に対して、どんな印象を持っているでしょうか？ 大学で、日本の学術界に貢献するため、研究を頑張っているイメージでしょうか？ もしくは、学部での勉強に飽き足らず、もっと勉強をしたいから進学する、勉強好きな人のイメージでしょうか？ それとも、大学生の延長で、大学で遊んでいるイメージでしょうか？ （大学院について知らない人は、以下の記事をご覧ください。） 大学院生に持っているイメージは人それぞれだと思いますが、 今回は、『大学院生はいい歳して、まだ学生やっている怠け者』と思っている人に向けて、反論をする記事になっています。 つまり、「大学院生にもそれなりに苦労して、頑張っている人がいるんだよ！大学院生と聞いて、一緒くたに遊んでいる学生というイメージを持たないでね！」 という記事です。 僕はぬくぬく大学に引きこもって修論書いたり、プログラミングしたり、ブログ書いているだけなのでそう思われてもまあいいですが、世の中の大学院生を擁護するためにこの記事を書きます。 大学院生って、こんな感じ とりあえず、以下は僕のツイート。 僕も、親にたまに「夏休みじゃないの？なんで学校行っているの？」とか、「そんな夜遅くまで、大学開いているの？」と聞かれます。 まず、ほとんどの大学院生は夏休み、春休みなんて存在しないと思います。 大学院生は（少なくとも理系は）どこかの研究室に所属し、研究活動を行うわけですが、大学院生の生活スケジュールはその所属してる研究室によって異なります。 多くの研究室では、大学生では存在していた、いわゆる夏季休暇（8月～9月）や春季休暇（3月～4月）にも、ゼミだったりミーティングを行うところがほとんどです。 では、長期休暇がないだけで、一年中それなりに暇なのかと言われると…

受験生をもつ親は個人で家庭教師してる大学生に気をつけて欲しい件。

先日、以下のようなツイートをしたら、少し反響がありましたので、今回はこの話をしたいと思います。 個人で家庭教師をする大学生たち 大学生のアルバイトの主流といえば、家庭教師、もしくは塾ですね。 家庭教師をする場合、ほとんどの大学生は生徒を紹介してくれる派遣会社に登録して、紹介してもらった生徒に勉強を教えると思いますが、 中には、派遣会社と契約せずに、直接お客さんを捕まえる、ガチ家庭教師系の大学生もいます。 実際に、僕が大学生の頃も、知り合いに個人的に活動して契約をとっている人がいました。 営業して契約をとり、家庭教師をするのはとてもいいことだと思います（もはやアルバイトではありませんが）。派遣会社に仲介料を取られなくて済むし、そういう方には頭がさがります。 それを踏まえたうえで、少し違った目線から見てみたと思います。 時給3000円は妥当か？ 個人的に生徒を捕まえるので、授業料（給料）は時給2000円～2500円が妥当でしょう（東大生とかだと、5000円とかもらえると聞いたことがありますが、ここでは例外とする）。 派遣会社で働いた場合でも、親は結局、派遣会社にそれくらい払っているので、講師（大学生）の信頼がある程度あるなら、それくらい貰っても良いと思いますし、なんにしろ、それはお金を支払う側（親）と、講師が決めることです。 なので、基本的には給料面に関しては何も言うことはありません。 ですが、上のツイートにも書いたとおり、『搾取しようとしている学生』が少し気になります。 まず、本当に時給3000円は、有名私立文系、地方国立以下を志望している高校生（もしくは浪人生）を対象とした家庭教師の給料として、妥当でしょうか？ 先ほども言ったとおり、給料を支払う親が決めることなので、口を出すのは見当違いかもしれませんが、あくまで個人的に意見を言わせてもらうなら、僕が親ならその家庭教師を雇いません。

理系は理系ブロガーにならないほうが良い理由？理系はどんな記事を書くべきか【良い例と悪い例】

対象とする読者：理系をウリにしてブログを始めようとしているひと 皆さんこんばんは！ もしあなたが、ブログを始めようとしていて、どんなテーマのブログにしようか悩んでいるなら、理系をウリにしたブログは控えたほうが良いかもしれません。 今回は、その「理系は理系ブロガーにならないほうが良い理由」についてお話していきたいと思います。 理系ブロガーにならないほうが良い理由 『理系ブロガー』というと、数学や物理、ガジェット系の記事を書く人と、範囲が広くなってしまいますが、ここでいう理系ブロガーとは、『文系ではなく、理系であることを活かした記事を書く人』と定義します。 例えば、『理系とは○○だ！』や『理系学生は忙しいのか？』みたいな記事を書く人のことです。 日本では、理系は文系に比べて少ないため、競合が少なく、戦いやすい分野だと思って、 理系だからといって、理系を売りにした記事を書く人がいるかと思いますが、 おすすめしません。 その理由は、単純で、 意外と理系ブロガーは多い 市場が小さい 競合が強すぎる からです。 上の2つは一見矛盾するように見えますが、 市場が小さい（お客さんが少ない）にもかかわらず、その一方で意外と理系ブロガーが多いということで、簡単に言ってしまえば、稼げないレッドオーシャンだからです。 しかも、競合がめちゃつよです。この手の記事は、教育系のメディアや、リクルート系、学習塾、大学が入ってくるので、SEO（検索順位）で戦おうとすると、なかなか厳しいです。 『理系』が入った単語で検索してみてください。めちゃ強なホームページやブログが出てくるでしょう。 また、理系ブロガーとかでも検索してみてください。わんさか出てくるはずです。 僕のこのブログは『理系リアルタイム』で、始めたばかりの頃は理系記事で頑張ろうと思ってましたが、最近になって、少し厳しいことに気づき始めました。 なぜなら、そこそこ、PV数が上がってきて、そして止まったからです。 市場が小さいのです。（まあ、最初から分かってはいたのですが…） ある程度のところまではいくかもしれませんが、いづれ頭打ちになります。

【ピグマリオン症】現実と数学を混同してしまう学者たち

今回は、ツイッターで見かけた、『ピグマリオン症』というものについて紹介していきます（そのツイートを以下に示します）。 ピグマリオン症とは 簡単に言うと、ピグマリオン症とは、 （制約がある）数学モデルを信じ込みすぎて、数学モデル（理論）と現実を混同してしまうこと です。 ピグマリオン症とは、現実を説明するモデルでしかないものを、現実に存在する実態であるかのように錯覚することです。 数学にしても、あのニュートン力学にしても、ある制約の下でのモデルでしかなく、現実世界ではありません。 数学は"数"を用いた単純な現実のモデルであり、物理に登場する数式も、また数学です。 ニュートン力学、特にニュートンの運動法則も、ある条件下でしか成り立ちません。量子力学を学んだことのある人ならわかると思いますが、古典力学は対象が非常に小さい（プランク定数ほどの大きさ）場合は、成り立ちません。 「ニュートン力学は神が作ったものだから、リンゴが木から落ちるように、いつでも成り立つ方程式だ」なんて言う人がいるかもしれませんが、そのひとはピグマリオン症にかかっていると言えます。 つまり、ニュートンの運動方程式は非常に限られた状況を考える時しか使うことができません。 さらには、ニュートン力学を導出できるシュレディンガー方程式でさえも、単純な状況下を仮定して議論しています。 科学者、研究者は、ピグマリオン症にかからないようにしなければなりません。 物理も、数学も、現実そのものを模しているのではなく、物理は物理、数学は数学であることを念頭において、議論していくべきなのです。 こんな話があります。

ブライスのパラドックス（Braess’ Paradox）！経路を増やしたのに渋滞する！？

[latexpage] 皆さんこんにちは！ 今回は、ブライスのパラドックスという、交通工学などのネットワークの問題におけるパラドックスについて紹介します！ ブライスのパラドックスとはどんなパラドックスか？ ブライスのパラドックスは、 交通網のようなものを考え、ある出発地から目的地にいくつかの車が移動するとき、道を新たに作り、利用できる経路を増やしたのにも関わらず、目的地に到着する時間が増加してしまう というものです。 不思議ですよね。道が増えれば選択できる経路が増えるので、目的地までの所要時間は減り、混雑は緩和されそうな気がします。 反対に言えば、ブライスのパラドックスが起きる、つまり、道を増やせばより渋滞するときがあるなら、余計な道路を封鎖すれば、渋滞はむしろ緩和される場合があるということです。 このブライスのパラドックスを詳しく説明していきますが、その前に、利用者均衡流という考え方を定義しておく必要があります。 利用者均衡流という考え方 ブライスのパラドックスの説明の前に、利用者均衡流について説明します。 下のように、出発地Sから目的地Gに車が移動する状況を考えます。 この道を通る車が多くなってくると、渋滞が発生し、目的地まで行く時間が増加します。 ここで、新たな道を作ったとします。すると、以下の図のように、少し遠回りしてでも、空いている道を使ったほうが早く目的地まで行けるので、遠回りの道を使う車が出てきます。 ただし、各車両の運転手は、すべての道の混雑状況を把握しているものとします。 そして、新しい、遠回りの道もそれなりに込んでくると、以下の図のように、2つの道の目的地までの所要時間が等しくなります。 こうなってくると、車はどちらの道に切り替えても、所要時間を短縮することはできません。 この各経路の目的地までの所要時間がすべて等しくなった状態を、利用者均衡（利用者均衡配分、ユーザー最適化）といいます。 以上では簡単に説明しましたが、もっと厳密に言えば、利用者均衡の条件はWardropの第一原理という名前で、以下のように与えられています。

大学の授業料無償化『院生は対象外』について。文科省さん、厳しいねぇ…

2020年より、文科省主導で高等教育無償化（修学支援制度）が開始されるようです。 この制度によって、世帯収入が要件に合えば、大学、短期大学、高等専門学校、専門学校に進学する際に、授業料の減免と給付型奨学金が受けられるようになるようです。 この件に関して、ある視点から、少し話題になっています。 大学院は対象外 さて、皆さんお気づきでしょうか？ 『高等教育無償化』と謳っているにもかかわらず、対象に大学院が含まれていないことを。 とはいえ、もしかしたら、大学の中に含まれているのかもしれません。 ということで、誰かが文科省に「大学院は対象になるか？」と質問したところ、次のような回答が返ってきました。 大学院生は対象になりません。大学院への進学は 18歳人口の 5.5％に留まっており、短期大学や2年制の専門学校を卒業した者では20歳以上で就労し、一定の稼得能力がある者がいることを踏まえれば、こうした者とのバランスを考える必要があること等の理由から、このような取扱いをしているものです。 文部科学省:高等教育の修学支援新制度に係る質問と回答（Q＆A） ーより引用 つまり、大学院生はこの新制度に対する対象にはならず、その理由としては「大学院生は数が少ないし、他の人はその年齢ならそれなりに稼いでるから、無償化する必要もない」って感じですね。 言い換えれば、「いい歳して学生やっている院生に払う金はないよ」とも聞こえます。 これには、賛否両論あります。 学問の力を感じ、必要と考えている人にとっては、大学院生にはもっと良い待遇を用意して欲しいと考える人もいるでしょうし、また、現大学院生や、大学院を修了した人のなかには、授業料免除どころか、給料を支払っても良いのではないかという人もいるくらいです。 一方で、大学院とは無縁な人にとっては、確かに「いい歳して学生をやっているなんて。はやく社会に貢献してほしい」と考える人もいるかもしれません（もし、本当にそう思っているのなら、もう少し社会の勉強をしたほうが良いと思いますが）。