AWS NYC Summit 2017

AWS NY Summit 2017に参加した感想 .. EC2からAWS ECSへの移行はこれからのトレンド？ 確かにこれをするのは色々な意味で利点があるのは間違いなさそう．このマイグレーション後、AWSのビリングがほぼ半額になったという話も聞いたし，CrowdForma...

JavaとICMP

自作の自宅用メッセンジャーを作成中，Javaでネットワーク上の他のホストを検索するのにはInetAddress.isReachable()では十分ではない、という事実を今，知りました． http://stackoverflow.com/questions/9922543/wh...

Gradle - マルチプロジェクト

最近は専らmavenよりもgradleを使っている．近年はmake, ant，maven, sbtと比較的短期間で様々なビルドツールを使わざるを得なかったことに食傷気味ではあったが，gradleをいざ使ってみると，mavenやantの冗長なコンフィグからの脱却や拡張性の高さがすぐ...

Java - Retrofit RESTクライアント

Javaにはいまいち使い勝手の良いRESTクライアントは無かった。。と思うが，最近話題になっているRetrofit2は非常に使い勝手が良いように思える． 以下の例は統合テストにおいてlocalhost:9099/beanmgrに対してGETのリクエストを投げる例． サービス...

Scala - 初めてのAkka - アクター

最近の流行りはどうやらreactive programming..らしく.. というか別に新しいものじゃない..old wine in a new bottleの典型例ではないか..． 憤る気分を抑えながらもakkaを試してみた． 以下の例は単純なアクターをつくった例．私が読...

Spark - StatsCounter

StatsCounterを使えば簡単に統計用の基本的な値を計算できる． import org.apache.spark.{SparkContext, SparkConf} /** * Created by neko32 on 2016/01/18. */ obje...

Spark - パーティション単位でのマップ

PairRDDのpartitionBy()を使ってパーティション毎の要素の合計を計算をする例． 入力ファイルは以下のようなキーバリューの対とする．また，バリューはスペース区切りの整数の列とする． lineA:73 44 58 62 lineAB:88 21 20 line...

Scala - JSONの作成

以下の例はPlay frameworkのJSONライブラリを使ってJSONを作った例． Scalaの型から作られたJSONをJson.parse()を使ってまたJSON化もしている． import play.api.libs.json._ /** * Created ...

Spark - JDBC経由でデータを取得

以下の例はSparkJDBCを使ってRDB(ここではMySQL. MySQLは使いやすくていいね！)からデータを取得しJDBCRDDを構築する． import java.sql.{ResultSet, DriverManager} import org.apache.sp...

Spark - CSVファイルの書き込み

以下の例はRDDの内容(Neko case class)をCSVファイルとしてHDFSに書き込む例． package tanuneko import java.io.StringWriter import com.opencsv.CSVWriter import org...

Spark - ファイル名をキー，内容をバリューとしてファイルを読み込み

SparkContextのwholeTextFiles()を使うと，ファイル名をキー，内容をバリューのRDDを作ることが出来る．以下の例では，HDFS上に空白区切りで数字が羅列されている複数のファイルを一括で読み込んでそれぞれの算術平均を求めている． val in = sc....

Spark メモ - CSVからkey - non-key ペア変換

HDFS上のCSV風テキストを最終的に主キー - 非キー別タプルに変換する例． // read input file separated by comma // suppose this input file consists of 4 cols (tradeid, ve...

scala - 外部コマンドの実行

Scalaの外部コマンド実行はJavaのProcessBuilderほぼ同じ. /** * Created by neko32 on 2016/01/03. */ object RunCommand { def main(args:Array[String]):Un...

scala - CSVファイルの読み込み

CSVファイルを読み込んで多重配列に保存するコードのメモ.. import resource._ import scala.io.Source object CSVReadRunner extends CSVRead { def main(args:Array[St...

scala - try with resource相当

Scalaにおいてtry-with-resourceのようなARMを使うには,私の知っている限りscala-ARMを使う必要がある． 以下の例はmanagedを使ってwriterをmanagedを使って自動で閉じ，scala.io.Sourceで読みだした後，自前のcloseA...

Scala - マップのキー・バリュー交換

scalaでは，mapのキー・バリュースワップを容易に実現出来る． val myMap = Map("Tora" -> "Chatora", "Mikeyo" -> "Mike", "Powder" -> "Mike") val reversed = fo...

Scala - Sequenceマッチ

Scalaのmatch文は極めて強力で，そのうちの一つのリスト要素へのパターンマッチも便利なものの一つだろう．以下の例はMyCatへのコンストラクタマッチとリスト要素へのシーケンスパターンマッチの組み合わせの例．もしパターンマッチ内でジェネリック型も含めた型パターンマッチ等をして...

Scala - ワードカウント

SparkではreduceByKeyで簡単にワードカウントができるが，scalaではfoldLeftで実装出来る． val x = """kiji,saru,saru#saru,inu,kiji,saru#inu,kiji,kiji#kiji#inu,inu#sar...

scala - ディレクトリのファイル操作

妻のパソコンの，とあるフォルダにある画像ファイルのタイムスタンプが何故かおかしくなってしまった．ファイルの数が膨大ということもあり，scalaでさっとコードを書いて修正した． import java.io.File import java.time.{LocalDateTi...

Scala - 乱数生成プロバイダを用いるstream

val r = new Random(System.currentTimeMillis()) def rand(max:Int):Stream[Int] = Stream.cons(r.nextInt(max), rand(max)) rand(100)...