中国のIT産業は日本よりかなり進んでいると感じた3つのサービス

中国のITサービスがすごいってネットで騒ぐ方々がここ数年多い気がしますが、実際何がすごいのか私自身イメージが湧いていませんでした。 しかし、つい先日仕事で(初めて)中国を訪れる機会があり、中国のITサービスを目の当たりしたので、その時の話を少ししようと思います。 とはいえ、サービスといっても地域によっては行き届いていなかったり、流行っていなかったりするそうなので、一概に'中国'とひとくくりにはできないかもしれません。 私が訪れたのは青島と呼ばれる日本からかなり近いところに位置する都市です。(チンタオビールで有名な都市です。)

pythonのsklearnを用いた機械学習モデルの作り方

前置き 非エンジニアの方で、AIとか機械学習とかって実際何しているんだ？と疑問に思うことは一度はあったはずです。 あるいは駆け出しエンジニアの方で、python勉強し始めたけど予測モデルとかどのように作られていかイメージできないという方少なからずいるはずです。本屋で売られている参考書はnumpyのランダム関数使って適当にデータを作っているものが多く生のデータを扱っているものが少ないように感じます。(中上級者向けならあるかもですが。)そういった疑問解消に少しでも貢献できればと思い生のデータを渡されてから予測モデルを作るまでの一連の流れを整理して見たいと思います。よって、本記事は非エンジニアと駆け…

pythonのnumpyを用いて時系列データの外れ値(outlier)を取り除く方法

時系列データで外れ値を除去する方法についての備忘録。一般的にデータで外れ値を除去するには、例えば、データ全体の標準偏差を算出し、2σの外側に位置する値を取り除くというやり方があります。分かりやすい例があったので貼っておきます。 pandasのデータフレームから外れ値を含む行を取り除く - Qiitaしかし、時間軸によって値全体が変動する時系列データの場合、データ全体を一括に処理することができないことが多いでしょう。どういうことか、実際にデータを作って見て見ましょう。

未経験からITエンジニアに転身できるのか？

こんにちは。 前回に引き続き未経験からITエンジニアへの転身についての考えていきたいと思います。 前回の記事ではいざITエンジニアとして働き始めた時の不安点に関して、仕事内容の観点から私自身が感じていたことを整理しました。 dorei-kaiho.hatenablog.com 私の自己紹介は以下のリンクに簡単に記載しています。 dorei-kaiho.hatenablog.com 未経験からITエンジニアになりたいけど世の中にはどういう選択肢があるんだ？待遇どうなんだろう？と思われている方が少なからずいらっしゃると思います。今回は未経験からITエンジニアという職種につきたいと思った時に取り得る…

pandasのDataFrameで分位点で5つに分割しグループ分けするやり方。

分位点については以下で説明しています。 dorei-kaiho.hatenablog.com今回は分位点による4分割ではなくあえて(深い意味はありません)5分割のグループ分けをしたいと思います。まずはデータを用意します。 データフレームはインデックス名をa〜uまで振っています。 import numpy as np import pandas as pd from pandas import DataFrame data = np.random.randint(1,100,20) data output > array([61, 29, 19, 15, 54, 8, 20, 27, 27, 8…

データ分析によく出てくる四分位点とは何か。

おそらく名前から想像できる概念そのままです。 データの外れ値などを捉えたい時などに使う基本的な分類手法です。 一言で言うと、「データを値の大きさに沿って等しく四分割する時の境界となる値」のことです。以下のような数字の羅列があったとしましょう。 import numpy as np import pandas as pd from pandas import DataFrame data = np.random.randint(1,100,20) data output> array([ 8, 53, 72, 88, 39, 76, 52, 62, 83, 50, 85, 60, 92, 88,…

若手サラリーマンが未経験からITエンジニアになったら全く後悔しなかった話。

こんにちは。 今日は、プログラミングを使った業務経験はないけれどもITエンジニアになりたいという方に向けて、私がITエンジニアに転身して感じたことを綴っていきたいと思います。 ITエンジニアと言っても定義はかなり広く、インフラ系やウェブ系やネットワーク系や統計処理系などなど千差万別です。 それゆえに、職種変更までの過程や興味志向に関しても人それぞれだと思います。 私の場合は機械学習系のエンジニアとしての職種の変更をしました。 私については以下で自己紹介しています。 dorei-kaiho.hatenablog.com ITエンジニアへの転身に関しては色んなことを考えたり聞いたりし、実際に転身を…

pandasのDataFrameでgroupbyを使って項目ごとの合計値を比較する方法。

購買の記録などを分析するときに購買されたモノ別のデータを比較したい時があると思います。 今回は、モノ別の売り上げ個数合計値を比較します。まずはデータフレームを作成。 今回はフルーツの名前と、それぞれの売れた個数を表示させてます。 import pandas as pd import numpy as np df = pd.DataFrame(np.array([['apple','orange','grape','apple','peach','apple','peach','orange','grape','apple'], [11,23,12,13,47,23,53,36,70,93]])…

日本のAI技術者に対する需要は今後どうなるのか？

先日某外資IT企業を訪問し、AIに関するビジネスアイディアの議論を行ってきました。 ネット経由で最近の技術動向やニュースなどはチェックしているつもりですが、やはり世界最先端の技術開発をしているエンジニアと議論を交わすと最先端技術は想像を超えていることを実感します。 記事などで読むより、実際にデモして貰ったりする方がイメージが湧くので。 さて、今日はこれからのAI技術者に対する需要に対して個人的に感じていることを綴ろうと思います。 AIの流行りはそろそろなくなっていくという意見が増えてきた気がするので、AI技術者を目指す方などの参考になればなと思います。(ただの思考の整理です。) 私については以…