広瀬隆雄氏と藤沢数希氏が喧嘩？

広瀬隆雄氏と藤沢数希氏が、アメリカでビットコインをショートできるか、レバレッジがかけらるのかどうかについて色々とやりとりがありましたね。 僕は両氏ともとても尊敬してます。 広瀬氏は、金融マーケットや、それにまつわる歴史にとても造詣が深く、Market hack は単に投資の参考になるだけでなく、歴史の勉強になります。藤沢氏は、クオンツ的な人なので広瀬氏とはタイプは全然ちがいますが、週刊金融日記を読めば彼がいかに知的で、マーケットでの実務経験や内部事情に詳しいことがよくわかります。 僕は数年間米系証券会社のマーケットに近い部署でクオンツ的な仕事をしていましたが、彼らほど優秀な人間は全くと言ってい…

Smart TradeのQuantXを使えば、アルゴリズムトレードモデルの開発と販売ができそうだ

今日、新聞を読んでいたら興味深いニュースを発見しました。Smart Tradeという会社が人工知能を使ったによるアルゴリズムの開発や販売のプラットフォームを提供するサービスQuantXをリリースしたんだそうです。 prtimes.jp 僕はAWSを使って、自分用にこのようなプラットフォームを作ろうと思っていました（僕がやろうとしていたのはもっとずっとしょぼいものですが）。それが、ここまでちゃんと出来てるとは知りませんでした。。これをうまく使えば、もう自分で仕組みを作ったり、システムを運用したりする必要はなくなりそうでとてもうれしいです。言語がpythonというのもいいですね。これで、モデル開発…

株価データの取得先を変更しなければならい

ある日いつものように株価データをダウンロードしようかと思ったら、衝撃的なニュースを目にしてしまいました。なんと、株価データサイトさんが、2017年12月末をもってサービスを終了させてしまうようです。。 k-db.com 僕は、株価データをこちらのサイトからダウンロードすることにしていたのでサービス終了はかなりショックでした。。 investor-satoshi.hatenablog.com 来月末までにデータの取得先とプログラムを変更しなければならないので、急遽取得先を変更しました。変更先は、無尽蔵さんというサイトにしようと思っています。 汲めども尽きない 無尽蔵／日経225先物 分足データー…

AIによる日本株アルゴリズムトレーディングはじめました

AIをつかった日本株のアルゴリズムトレーディングを昨日10月31日から開始しました。さて、ここまでの結果は・・・と発表したいところですが、実際の売買は今日まではまだやってません。というのも、AIのアルゴリズムが「今日の買い銘柄なし」という判断をしたからです。まだ買ってはいませんが、一応、目標の10月運用開始が達成できて良かったです。。 investor-satoshi.hatenablog.com どのようなAIアルゴリズムかというと、過去データをいくつかの種類にわけて、それぞれに、ニューラルネットワーク（ディープラーニング）、CNN、LSTM、Xgboostにぶっこみ、答えをもらいます。あら…

AIで日銀総裁の表情解析して政策予想をするだと？

昔、女性のベテラン弁護士が書いた離婚調停に関する記事を読んだんですが、それにはこうありました。 男性の浮気はバレます。ちょっとした日常の変化で女性はそれに気づくというのです。この場合は、自分の非を認め誠実に謝ることが重要だそうです。それに対し、女性の浮気はバレないそうです。男性は、そうした日常のちょっとした変化に気づくことができないようだとのことです。そして、女性は浮気は隠し通すことが重要だそうです。なぜなら、女性の浮気は離婚に直結するからだとのことです。 一般論としても、直感的にも、たしかに女性の方がわずかな変化に気づく能力が高い気がします。身体能力が一般に男性の方が高いのは、狩猟民族時代の…

ランダムフォレストをクビにしてCNNとLSTMを導入し、相対リターンを説明するためのデータを用意した

AIを使って日本株のトレーディングをしようと思ってます。でも、なかなか現実的なモデルができません。絶対リターンが高くなるには、いつ、どの銘柄を買えばいいかについて学習させたところ、パフォーマンスのいいモデルを作ることはできました。 ただ、ちょっとしか買っちゃだめな日と、ありえないくらい大量に買わなければいけない日がでてきて、現実的に運用が難しいということがわかりました。ある日は100万円の投資額で、ある日は3億円の投資額といった感じです。 investor-satoshi.hatenablog.com ということで、ある日に何百銘柄買うということがあってとしても、それらから優先的にどの銘柄を選…

9月の運用開始は断念して10月を目標にした

AIによる日本株の運用を9月から開始しようと思っていましたが、残念ながら間に合いませんでした。。いつ、どの株をかえばいいか、というモデルを作り、それ自体はシュミレーション上ではうまくいきそうなものの、日によって相当な資金を用意しなければならないので、現実的には実現が難しいことがわかったからです。 investor-satoshi.hatenablog.com 運用をするのは目的ではなく、金持ちになるための手段なので、現実的にうまくいきそうもないものをわざわざ見切り発車するつもりはありません。しかしながら、9月運用が開始できなかったのは、単純に悔しいです。 一日の投資額をある程度均一化できるよう…

どの株を買うかではなく、いつ買うかのモデルができてしまった。

日次短期トレードのためにAIを使ったモデルを開発してます。いつどの銘柄を購入すれば短期的に利益がえられるかというモデルです。XgboostとかKerasを使ったニューラルネットで一応ワークしそうなモデルができたので、過去データを使ってトレードシミュレーションしてみました。 もちろん、パラメータ推定に用いる学習データと、シミュレーションするテストデータの日付に重複がないようにします。50日ごとに最新のデータを使ってパラメータを更新し、全部で450日分の計算をしてみました。一回における一銘柄の購入額を100万円としてモデルどおりに売買したところ、平均投資残高440万円ほどで利益は約700万円でした…

AIを使った株取引で収益を上げるのはとても難しいようだ

Bloombergで以下のような記事がありました。みずほFGが日本株取引にAIを導入するとのことです。 ほう。まさに、僕がやろうとしていることじゃないですか。 もちろん、ひとりFintechの僕は、資金・インフラ・情報・人材の全てにおいて圧倒的にかなわないですが、どんなことやっているかは記事から勉強させていただきました。 www.bloomberg.co.jp 以下、抜粋 同社のAIシステムには、各銘柄ごとに約5000種類の情報やデータが入力されている。買い注文や約定の詳細などの板情報、株価のヒストリカルデータやニュースの出現頻度、またドル・円相場や金、石油の価格動向などデータを使い、気付くこ…

GMOクリック証券の口座に1000万円入金した

人工知能による株取引モデル構築、なかなか手こずっています。何度、シュミレーションしても目がさめるようなパフォーマンスにはなりません。。 investor-satoshi.hatenablog.com ただ、そんなこと言っているといつまでたっても先に進まないので、とりあえず証券口座に現金を入金しました。その額どーーんと1000万円！僕にとってはかなり大きい金額です。。これがみるみるうちに増え、いつしか桁が変わっていくことを願っています。 遅くとも9月中には取引開始していきたいです。

AIによる株の売買モデルを開発しているが、なかなか苦戦している

株の売買モデルをAIで開発して、一儲けしようと考えてます。お金大好きです。 investor-satoshi.hatenablog.com 新しいことを勉強するのは楽しいし、分析している感じではかなりうまくいきそうだったので、億万長者になったら何をしようか考えながらワクワクしてましたが、正直いって今は行き詰まってます。。 最初はクロスバリデーションでうまく行っているので油断していましたが、学習データとテストデータを日付が重複しないように設定するとパフォーマンスが格段に悪くなったのです。 investor-satoshi.hatenablog.com 検証結果は、みきり発車で行くにはあまりに不安…

株の短期売買モデルでのクロスバリデーションは有効な検証にはならないかも

統計や機械学習を用いて予測モデルを構築する場合にはオーバーフィッティング（過学習）に気をつける必要があります。手持ちのデータをすべて使ってモデルを構築すると、そのデータにしか適応できないモデルができてしましい、新たな発生したデータには有効に機能しない可能性があるからです。 それを避けるために、クロスバリデーションという方法があります。手持ちのデータをランダムに学習データとテストデータに分けて（たとえば、学習データ：テストデータ＝90：10）、学習データのみでモデルを構築し、テストデータでモデルが機能するか検証するというものです。これにより、オーバーフィッティングをある程度確認することができます…

SVMは計算時間がながく、ニューラルネットワークは答えが出ない。。

株の売買モデルを人工知能・機械学習で開発しようとしている。いろいろなデータをいろんな種類の分析ツールにぶっこんで答えを出し、そこから多数決をとるというのが、基本的なアイデアだ。 もし、モデルの出す答えが以下のようになったとしよう ランダムフォレスト：A株とB株がいいよ。 Xgboost：A株とC株だね。 SVM：いやいや、C株かD株でしょ。 ニューラルネットワーク：A株かE株に行っとけって。 そうすると、多数決の結果は以下のようになる。 A株：3（ランダムフォレスト、Xgboost、ニューラルネットワーク） B株：1（ランダムフォレスト） C株：2（Xgboost、SVM） D株：1（SVM）…

AI（人工知能）とは単なる複雑な計算モデルにすぎない。

人工知能ときくと、ロボットが考えて何かの答えを出しえいるような事を想像している人も多いと思いますが、実際は単に複雑な計算処理をコンピューターがしているだけです。 たとえば、身長から体重を推定する事を考えます。そこで"体重=身長-110"というモデルを考えましょう。この場合、身長175cmとしてたら、推定体重は175-110=65kgとなります。 これを「人工知能が答えをだしたぞ！」と言う人がいたら、どうでしょう？いやいや結果はもしかしたら妥当かもしれないけど、単に単純な計算をしただけだから。。となりますよね。 このケースと人工知能のケースはなにかというと、"体重=身長-110"という単純なモデ…

AIトレーディング用にGMOクリック証券の口座を開設した。

モデルの完成は8合目くらいまではきている。ということで、最近、会社から家にかえるのが楽しみで仕方がない。電車の中で、まずはあれを確認して、このプログラミングを作成して、それから・・ということばかり考えている。おそらく9月には運用開始できると思う。 その前に、あらたに証券口座を開設することにした。僕は個人でも、日本株・外国株・投資信託・FXなどの投資経験があり、別の口座でそれらの金融商品は保持しているが、AIトレーディングだけで、どのくらいの収益が出ているのかを簡単に管理したいので、別口座を作ることにしたのだ。 kabukiso.com この証券会社にしたのは、名前も聞いたことがあり、手数料が安…

記事になっているAIプロジェクトのほとんどはうまくいってないと思う

AI（人工知能）に関する記事を見ない日はありません。ただ、それらを読むと、殆どの場合、流行に乗りたい企業を取材した認識不足の記者の記事という気がしてなりません。もちろん、ちゃんとした技術のちゃんとした記事もありますが、残念ながら少数派です。 取材される側の大企業のデータ分析担当者の雰囲気はだいたい察しが付きます。 「なんか、わかってない偉い人がノリノリで、今度取材うけるんだけど、ほんとにこんなの記事になっていいのかなあ。まだ、入手できる適当なデータをニューラルネットかまして答えだしてるだけだから、実用段階でもないし、ちゃんとした検証さえもできないんだけど。。」 AIとかFintechとかの流行…

株価の過去データをダウンロードする

株を分析にするにあたってもっとも重要なデータは、過去の株価のヒストリカルデータです。これをどこから取るかは、そんなに簡単な問題ではありませんでした。証券会社で働いてたときならBloombergからダウンロードすればいい話でしたが、個人でやるとなると高いのでそういうわけにも行きません。 いろいろ調べて、候補はYahoo!ファイナンスか株価データサイト（個人運営？）の2択に絞りました。 Yahoo!ファイナンスはスクレイピング禁止？ finance.yahoo.co.jp Yahoo!ファイナンスは基本的にスクレーピングが禁止されているようです。有料会員になれば、直接ダウンロードできるらしいですが…

投資家さとし、Mensa合格しました。

公式サイトによると、MENSA(メンサ)とは、1946年にイギリスで創設された、全人口の内上位2%のIQ(知能指数)の持ち主であれば、誰でも入れる国際グループだそうです。 mensa.jp テレビでなんどか取材されていたので、僕も以前から名前だけは知っていました。有名人では、脳科学者の茂木健一郎氏、お笑い芸人のロザン宇治原史規氏、タレントのパックン氏等が会員になっているそうです。 自分が受けたらうかるのかな、となんとなく思っていたのをふと思い出し、実際に受けてみることにしました。試験内容については教えてはいけないそうなので、ここでは言及しませんが、もしかすると最大の難関は試験を申込みできるかど…

AWSのEC2のインスタンスはこまめに停止しよう

先日、AWSのEC2のインスタンスを削除して、現在一から構築し直してます。そのときにインスタンスをt2.micro（期間中無料）からt2.2xlarege（一時間50円程度）のものに変えました。 investor-satoshi.hatenablog.com さて、料金はどうなっているのかな、と翌日に確認してみたところ一気に1500円ほどになってました。。 え、俺そんなに使ってないぞ。と思い調べてみると使おうが使わまいが、インスタンスが起動している間は課金されているみたいです。ですので、寝ている間にも1時間あたり50円以上のお金を失っていました。。インスタンスはこまめに停止するように気をつけま…

今まで作ったAWSのインスタンスを削除して一から作り直した

甘く見すぎていて、早くも壁にぶち当たってしまいました。調べてみるとAWSの無料サービスってかなりのロースペックでした。できるところまでは、無料のまま続けたかったのですが、さすがに無理でした。 investor-satoshi.hatenablog.com まず、データ分析でストレージ5Gっていうのはちょっと無理でしたね。それにUnix環境の中にDockerで仮想Unix環境をつくるというリソースの無駄遣いをしていたのもあって途中から空き容量が足りないエラーが連発しました。。 また、無料枠で使えるEC2ですが、t2.micro インスタンスは1 GiB メモリしかないので、どうしたって大量のデー…

株式売買モデルを構築するために僕がやろうとしている手順

ここで僕がやろうとしていることを一応まとめておく。 AWSのクラウド環境(EC2)で分析環境（Unix）をたちあげる Dockerを通じて必要な分析アプリ・パッケージをインストールする Pythonのスクレイピングにより必要なデータを取得する Rで分析用にデータを加工する データをPythonのパッケージで分析し株価モデルを構築する（パラメータを推定する） データを自動取得・自動処理し、パラメータから株価売買決定モデルを作成する 最初は自分にメール配信し、手動で売買する なれてきたらスクレイピングを利用し株の自動売買システムを構築する 儲かってお金持ちになる だが、僕はもう2の段階で躓いている…

分析に使う言語はPythonとRにすることにした。

株価分析するのにツールをどれにしようかと思ってたんですが、PythonとRを利用することにしました。なにがいいのかをちゃんと比較検討したわけではなく、単に周りに人に聞いてみただけです。結果はこんな感じでした。 スクレーピングや分析のやりやすさ: Python データ処理のやりやすさ: R どちらにしろPythonは勉強したかったので、これは外せないとして、わざわざRをやろうとしたのは、どうせなら一緒に勉強したいな、と思ったからです。ので大した理由では全然ありません。笑 Rはこちらを参考にしましたが、わりと簡単にできました。データ処理のためのライブラリも普通にinstall.packages("…

分析環境を構築するためにDockerをインストールしてみた。

Dockerについての詳しい解説は下のサイトなどに譲りますが、僕の理解するに、OSの中に目的に特化した仮想OSをつくれるものだと思っています。 www.atmarkit.co.jp たとえば、僕はAWSでUbuntuを利用してますが、これにあれやこれやインストールしてそれぞれの依存関係でぐちゃぐちゃになって重くなったりするのを避けたいです。特に僕はUnixに強いわけではないので。 で、Dockerをインストールすれば、仮想OSを作ってその中で特定のアプリケーションに特化した環境を作ることができます。うまくいかなかったらまるごと捨てちゃえばいいので便利です。 だからAWSのUbuntuのなかにD…

AWS(Amazon Web Services)に登録してみた。

トレーディングのモデルの開発環境はAWS(Amazon Web Services)にすることにしました。自宅のWindowsからAWSのUnix環境で分析しようと思います。AWSは一年間無料で使えます。 AWS を無料でお試しください アマゾン ウェブ サービス（AWS 日本語） AWSにした理由はふたつあって、一つはそもそもAWSを使ってみたかったとう言うのがあります。一応ブログのタイトルも「ひとりフィンテック」としてるので、クラウド環境で分析するのがいいんじゃないかと。笑 もう一つは、PythonでパッケージとかをインストールするときにWindowsだと色々とめんどくさいことがわかった…