searchカテゴリー選択
chevron_left

カテゴリーを選択しなおす

cancel
プロフィール PROFILE

tanu32さんのプロフィール

住所
アメリカ
出身
北見市

ITに携わる一納税者.ただのたぬきかもしれない.趣味はジャズ,クラシック,プログラミング,ゲーム,猫,妻と一緒に街歩き.

ブログタイトル
NY 日本人IT技術者日記
ブログURL
http://neko32.blogspot.com/
ブログ紹介文
NYでテクニカルアーキテクトとして黙々と働いてます.扱うテーマは技術ノート,英語・NYに関すること等.
更新頻度(1年)

集計中

ブログ村参加:2013/04/05

本日のランキング(IN)
読者になる

新機能の「ブログリーダー」を活用して、tanu32さんの読者になりませんか?

ハンドル名
tanu32さん
ブログタイトル
NY 日本人IT技術者日記
更新頻度
集計中
読者になる
NY 日本人IT技術者日記

tanu32さんの新着記事

1件〜30件

  • AWS NYC Summit 2017

    AWS NY Summit 2017に参加した感想 .. EC2からAWS ECSへの移行はこれからのトレンド? 確かにこれをするのは色々な意味で利点があるのは間違いなさそう.このマイグレーション後、AWSのビリングがほぼ半額になったという話も聞いたし,CrowdForma...

  • JavaとICMP

    自作の自宅用メッセンジャーを作成中,Javaでネットワーク上の他のホストを検索するのにはInetAddress.isReachable()では十分ではない、という事実を今,知りました. http://stackoverflow.com/questions/9922543/wh...

  • Gradle - マルチプロジェクト

    最近は専らmavenよりもgradleを使っている.近年はmake, ant,maven, sbtと比較的短期間で様々なビルドツールを使わざるを得なかったことに食傷気味ではあったが,gradleをいざ使ってみると,mavenやantの冗長なコンフィグからの脱却や拡張性の高さがすぐ...

  • Java - Retrofit RESTクライアント

    Javaにはいまいち使い勝手の良いRESTクライアントは無かった。。と思うが,最近話題になっているRetrofit2は非常に使い勝手が良いように思える. 以下の例は統合テストにおいてlocalhost:9099/beanmgrに対してGETのリクエストを投げる例. サービス...

  • Scala - 初めてのAkka - アクター

    最近の流行りはどうやらreactive programming..らしく.. というか別に新しいものじゃない..old wine in a new bottleの典型例ではないか... 憤る気分を抑えながらもakkaを試してみた. 以下の例は単純なアクターをつくった例.私が読...

  • Spark - StatsCounter

    StatsCounterを使えば簡単に統計用の基本的な値を計算できる. import org.apache.spark.{SparkContext, SparkConf} /** * Created by neko32 on 2016/01/18. */ obje...

  • Spark - パーティション単位でのマップ

    PairRDDのpartitionBy()を使ってパーティション毎の要素の合計を計算をする例. 入力ファイルは以下のようなキーバリューの対とする.また,バリューはスペース区切りの整数の列とする. lineA:73 44 58 62 lineAB:88 21 20 line...

  • Scala - JSONの作成

    以下の例はPlay frameworkのJSONライブラリを使ってJSONを作った例. Scalaの型から作られたJSONをJson.parse()を使ってまたJSON化もしている. import play.api.libs.json._ /** * Created ...

  • Spark - JDBC経由でデータを取得

    以下の例はSparkJDBCを使ってRDB(ここではMySQL. MySQLは使いやすくていいね!)からデータを取得しJDBCRDDを構築する. import java.sql.{ResultSet, DriverManager} import org.apache.sp...

  • Spark - CSVファイルの書き込み

    以下の例はRDDの内容(Neko case class)をCSVファイルとしてHDFSに書き込む例. package tanuneko import java.io.StringWriter import com.opencsv.CSVWriter import org...

  • Spark - ファイル名をキー,内容をバリューとしてファイルを読み込み

    SparkContextのwholeTextFiles()を使うと,ファイル名をキー,内容をバリューのRDDを作ることが出来る.以下の例では,HDFS上に空白区切りで数字が羅列されている複数のファイルを一括で読み込んでそれぞれの算術平均を求めている. val in = sc....

  • Spark メモ - CSVからkey - non-key ペア変換

    HDFS上のCSV風テキストを最終的に主キー - 非キー別タプルに変換する例. // read input file separated by comma // suppose this input file consists of 4 cols (tradeid, ve...

  • scala - 外部コマンドの実行

    Scalaの外部コマンド実行はJavaのProcessBuilderほぼ同じ. /** * Created by neko32 on 2016/01/03. */ object RunCommand { def main(args:Array[String]):Un...

  • scala - CSVファイルの読み込み

    CSVファイルを読み込んで多重配列に保存するコードのメモ.. import resource._ import scala.io.Source object CSVReadRunner extends CSVRead { def main(args:Array[St...

  • scala - try with resource相当

    Scalaにおいてtry-with-resourceのようなARMを使うには,私の知っている限りscala-ARMを使う必要がある. 以下の例はmanagedを使ってwriterをmanagedを使って自動で閉じ,scala.io.Sourceで読みだした後,自前のcloseA...

  • Scala - マップのキー・バリュー交換

    scalaでは,mapのキー・バリュースワップを容易に実現出来る. val myMap = Map("Tora" -> "Chatora", "Mikeyo" -> "Mike", "Powder" -> "Mike") val reversed = fo...

  • Scala - Sequenceマッチ

    Scalaのmatch文は極めて強力で,そのうちの一つのリスト要素へのパターンマッチも便利なものの一つだろう.以下の例はMyCatへのコンストラクタマッチとリスト要素へのシーケンスパターンマッチの組み合わせの例.もしパターンマッチ内でジェネリック型も含めた型パターンマッチ等をして...

  • Scala - ワードカウント

    SparkではreduceByKeyで簡単にワードカウントができるが,scalaではfoldLeftで実装出来る. val x = """kiji,saru,saru#saru,inu,kiji,saru#inu,kiji,kiji#kiji#inu,inu#sar...

  • scala - ディレクトリのファイル操作

    妻のパソコンの,とあるフォルダにある画像ファイルのタイムスタンプが何故かおかしくなってしまった.ファイルの数が膨大ということもあり,scalaでさっとコードを書いて修正した. import java.io.File import java.time.{LocalDateTi...

  • Scala - 乱数生成プロバイダを用いるstream

    val r = new Random(System.currentTimeMillis()) def rand(max:Int):Stream[Int] = Stream.cons(r.nextInt(max), rand(max)) rand(100)...

  • Scala - Enumeration

    ScalaでEnumerationを継承してenumを定義する例. object Weekdays extends Enumeration { type WEEKDAY = Value val MON, TUE, WED = Value } object MyMa...

  • Scala - akka アクタ

    Akka actorのサンプルメモ.. import akka.actor._ /** * Created by neko32 on 2015/12/23. */ sealed abstract trait Message case class Request(...

  • Scala - Mixin, traitそしてselfによる型間依存関係の表現

    Scalaのmixinとtraitそしてselfアノテーションを利用することにより,Javaと比較してより明快に型間の依存関係を宣言出来る.Javaではミックスインが出来ない為,クラス間の依存関係はあるクラスのprivate or protectedフィールドとして表現されている...

  • Scala - visitorパターンのようなもの

    ScalaではVisitorパターンを割合簡潔に書くことが出来る.以下の例はあるデータベース上で接続・検索を実行するモジュールで,この例では通常のRDB, HiveそしてインメモリDBをサポートしているとする.また,(乱暴ではあるが簡略のために)RDBとHiveserver2はコ...

  • scala - tailrecアノテーション

    scalaではtailrecアノテーションを使って末尾再帰の最適化をすることができる. 関数は再起呼び出しで終わっている必要がある. @tailrec def fact(i:BigInt, accm:BigInt):BigInt = { i match { ...

カテゴリー一覧
商用