時々にしたくなる、Rの古いバージョンのパッケージ（The previous version packages）をインストールする件

Rを使っていると、稀に、パッケージのバージョン違いで問題が起こる。 そのとき、以前のバージョンのパッケージをインストールする必要がでてくる。 以前のバージョンをインストールする場合には、まず、CRANのパッケージのページにいく。 例えば、psychパッケージだと、以下のURLになる。 https://cran.r-project.org/web/packages/psych/index.html そこで、Downloads:にある、psych archiveをクリックして、アーカイブのページにはいる。 そこのアーカイブのなかから、必要なバージョンを探す。 ここでは、1つ前のバージョン 1.9.…

grepコマンドで文字列処理をやってみた件【その2】検索語のヒット数カウントとか検索語の前後文字の抽出とか色々

「grepコマンドによる文字列処理をやってみた」の続編である。 以前扱えていなかった内容をやっていきたい。 grepコマンドの基本については過去の記事を参照のこと。 skume.hatenablog.com skume.hatenablog.com まずは、サンプルデータをダウンロードする $ svn export https://github.com/kumeS/Blog/trunk/grep_practice_02 $ cd ./grep_practice_02 # test.txtを使っていく。 $ cat test.txt #abcde #ABCDE # #abcdefghijklmn…

PubMed API と googletrans を使って、PubMed掲載論文のAbstract和訳をRでやってみた件

論文のトレンド解析であったり、個別の論文情報、主に要旨（Abstract）を取得してみた。 もう少し発展させて、Abstractの英文テキストの和訳をして、Rmarkdownのレポート作成するまでをやってみた。 今回扱う、RISmed パッケージは、PubMedを含むNational Center for Biotechnology Information （NCBI: アメリカ国立生物工学情報センター）のデータベースから論文情報を抽出するためのツール群である*1。 また、Abstractのテキスト和訳には、以前の記事で紹介した、Pythonの googletrans ライブラリを使用する。 …

R/Keras/TensorFlowでやる『ディープラーニング(Deep Learning)』のすゝめ【2】教師なしニューラルネットワーク Autoencoder with 2D CNNの実装、そして色ムラ・ノイズ除去(Denoising)をやってみた件

「R/Keras/TensorFlowでやるディープラーニングのすゝめ」の連載2回目です。 【1】では、ベクトルデータに対する Autoencoderを取り上げたが、 今回は、 2D Convolutional Neural Network (CNN: 畳み込みニューラルネットワーク) を使ったAutoencoderの実装について紹介する。 下記で登場する、CNN、Maxプーリング、Upサンプリング、活性化関数 などについては、すでに多くの分かりやすい説明記事があるので、そちらを参照のこと。 qiita.com deepage.net qiita.com kansiho.hatenablog.…

Rの「reticulate」を使えば、Pythonライブラリがインポート・実行できる。そして、R上で「googletrans」を用いた日英翻訳をやってみた件

Rの reticulateパッケージは、Python と R の連携性を高めるツール群である*1。 つまりは、Rセッション内でPythonのスクリプトやライブラリをインポートして、シームレスにPythonコードを実行できるなど、RからPythonを呼び出すことができる。 また、RとPythonのオブジェクト間の変換も可能である（Ex. R データフレーム <=> Pandas）。 reticulate::importを使用して、R上で、googletransライブラリを読み込んで、日=>英翻訳、戻し翻訳をおこってみる。 googletransライブラリのメリット・デメリット Googletra…

R/Keras/TensorFlowでやる『ディープラーニング( Deep Learning )』のすゝめ【1】教師なしニューラルネットワークDeep Autoencoder のsimple modelをやってみた件

Rで、ディープラーニング( Deep Learning )をやるというのが最近の活動である。 【1】では、教師なしニューラルネットワークであるAutoencoder（オートエンコーダー）のsimple modelを実装してみる。 Autoencoder は、Encoder（元データから低次元への変換層）とDecoder（低次元から元データに戻す変換層）からなるニューラルネットワークの特殊系の1つである。 Autoencoderでは、出力層で与える教師データを入力層としても与えることで、 入力層と出力層のユニットが同じとなる構造を持つ。 Autoencoderの開発は1980年代に遡り、Hint…

10倍量のヨーグルトを作りながら、菌の増殖曲線を考えてみた件

最近、ヨーグルト作りにハマっている。 種菌（いわゆる、0.1L 飲むヨーグルト）から、10倍量（1L）のヨーグルトを作っている。飲むヨーグルト1本は、だいたい100円くらいなので、10倍量で1000円となって、必要経費を引いても、だいたい700円弱お得である。また、ヨーグルトの酸味や固さを自分の好みにできる。 今回、「ガセリ菌を使った10倍量（1L）ヨーグルトの作製法」と「菌の増殖曲線」について検討したことを、実験ぽく紹介する*1。 10倍量ヨーグルト作製のマテリアル ガセリ菌の種菌（= 某メグミルク製のガセリ菌SP株の飲むヨーグルト） 培地（= 某メグミルク製の牛乳） グルコース（= 三温糖…

【Mac】エクセルのセルをコピーして、クリップボードのまま、Rのread.tableでデータフレームとして直接読み込む時の方法

今までほぼやってなかったけど、さっき使ってみて思いの外便利だったので、今後はこれを使いたいと強いメッセージを込めて、これのみでメモっておく。 まずは、エクセルの任意のセルを選択して、command + c でコピーする。 Rを起動して、以下のコマンドを打てば*1、クリップボードからデータのインポートができる。 ただし、途中で、command + c をもう一度打たないこと。癖で打ってしまいそうになる。。。 コピーしたセルがヘッダーを含む場合 Data <- read.table(pipe("pbpaste"), header=T, stringsAsFactors = F) Data # OR…

エクセルのセルをコピーして、クリップボードのまま、Rのread.tableで直接読み込む時の方法

今までほぼやってなかったけど、さっき使ってみて思いの外便利だったので、今後はこれを使いたいと強いメッセージを込めて、これのみでメモっておく。 まずは、エクセルの任意のセルを選択して、command + c でコピーする。 Rを起動して、以下のコマンドを打てば((R4.0以降は大丈夫だが、stringsAsFactors = Fは念のためいれておくこと))、クリップボードからデータのインポートができる。 ただし、途中で、command + c をもう一度打たないこと。癖で打ってしまいそうになる。。。 コピーしたセルがヘッダーを含む場合 Data <- read.table(pipe("pbpas…

grepコマンドで文字列処理をしてみた件

grepコマンドは、ある特定の文字列を含むものを取り出す・検索するときに使用する。 大別して、ファイル内のテキストに対してgrepを行うか、ファイル名に対してgrepを行うかでやり方が変わってくる。 やってることは単純だが、いろいろと応用できるので、今回まとめてみた。 練習用のファイル・フォルダを以下のコマンドでダウンロードできるようにしている。 #ダウンロード $ svn export https://github.com/kumeS/Blog/trunk/grep_practice #作業フォルダに移動 $ cd ./grep_practice ファイル内のテキストに対する処理 ある特定の…

Jupyterで、RとかPythonとかシェルとかのセットアップをするの巻

Jupyter (ジュピター) は、対話型プログラミング用のブラウザ・インターフェイス と言えば良いのかな。PythonとかRとか、数十のプログラミング言語の動作環境として使えるのが魅力である。 大別して、Jupyter notebook と Jupyter lab という2種類のタイプがある。 個人的には、Jupyter lab のほうが若干見やすいというくらいの違いという印象である。 Jupyterのインストールと、いくつかの言語のセットアップ法についてメモしておく*1。 まずは、 ターミナルを立ち上げて、Macの実行環境確認 $ brew config HOMEBREW_VERSION:…

Macでの圧縮・解凍コマンドをメモっておく件

よく使う割にいつもネットで調べるはめになるので、、 このタイミングで、Mac Terminalでの圧縮と解凍コマンドをメモっておく*1。 データ圧縮方式 / アーカイブ方式 .zip .tar .gz & .tar.gz & .tgz .bz2 & .tar.bz2 .tar.xz について、まとめてみた。 .zip について .zipは、Windowsでよく使用される、データ圧縮やアーカイブのフォーマットの1つである。 Macの場合、control + クリックで、「・・・を圧縮」という選択があって、zip圧縮できる。 ただ、zipコマンドでは、4GB以上のファイルが圧縮できないので、それ以…