Puppeteerのスクレイピングを同期的に呼び出す(Async/await)

PuppeteerのスクレイピングをAsync/awaitを使って同期的に呼び出す方法です。 Async/awaitについて理解できていれば普通に作れると思いますが、慣れていないと難しいと思いますので参考にしてください。 （私もハマりました。。。） Node.jsで非同期処理を実施するAsync/awaitの基本は以下を参照してください。 www.kennejs.com 想定している利用シーンPuppeteerはリソースを消費が激しいため貧弱な環境ではマルチタスクで実行するとサーバーがハングアップに近い状態になります。 溜まったchromeプロセスをkillしていけばいいのですが、その間スクレ…

Node.jsで非同期処理の戻り値を利用する（Async/await）

Node.jsの非同期処理Node.jsで非同期処理の結果を処理する際にAsync/awaitを利用する方法です。 個人的にはcallback関数に比べて直感的に理解しづらかったので慣れない方でも理解しやすいように呼び出し元、呼び出し先(Async関数)のサンプルを用いて説明してみます。前回の記事でも記載した通り、Node.jsの非同期制御には三種類の方法があります。1. callback関数 2. Promise 3. Async/Await1.callback関数の使い方はこちらの記事を参照ください。 Node.jsで非同期処理の戻り値を利用する（Callback関数）「2.Promise…

Node.jsで非同期処理の戻り値を利用する（Callback関数）

Node.jsの非同期制御（Callback関数）の使い方です。Node.jsの非同期処理Node.jsはノンブロッキングI/O処理という特徴があります。 Node.jsから他のプロセス（DBやAPI呼び出しなど）を実行した際は戻りをまたずに以降の処理が進みます。JavaScriptは元々シングルスレッドで処理されるため、Node.jsの処理は基本的にシングルスレッドで処理されます。 例： コード1 コード2 コード3 DB検索 コード4 コード5基本的にはコード1 -> 2 -> 3と処理されますが、この場合コード4はDB検索の処理完了を待ちません。 コード4でDB検索結果を使用したい場合、…

JavaScriptでArrow関数を覚えることのメリット

ECMAScriptのバージョンバージョンと機能を俯瞰するにはWikipediaの表が一番わかりやすいです。 https://ja.wikipedia.org/wiki/ECMAScriptArrow関数はES6(ES2015)から採用されています。非同期関数 (async/await)はES2017から採用ですね。ちなみにNodejsのversion6ではES2017は動かないので注意です。 Node.jsは最新版を採用しましょう。www.kennejs.com Arrow関数関数の書き方が簡略化される最新のライブラリやWebチュートリアルなどはArrow関数で書かれていることが多いため、覚…

Liquid by Quoine APIの使い方と注意したいポイント

Liquid by Quoinex APIドキュメントを参照してコーディングします。サンプルプログラムがrubyしかないので、初めての人にはきついかもしれません。 BitFlyerとか他の取引所のAPIを使ったことがあればポイントは同じなのでAPIドキュメント見ながら作れます。[Liquid by Quoine]API接続のサンプルコードPublic APIサンプルPublic APIは認証不要です。コーディングもそんなに難しくはないです。 //getPrice functionで価格（Last Price, Bid, Ask）を取得 const request = require('requ…

エンジニアにおすすめの英会話学習法

エンジニアにおすすめとしていますが、普遍的な英会話学習法だと思います。国内SIerで必要な英語スキル私は国内SIerの社員ですが、会社全体の英語力がほんとに低いです。 もちろん、すごくできる人もいますが少数派です。国内SIerってやっぱり業務によっては全く英語力って必要ないですからね。ただ、最新の情報にアンテナをはったり、外資系や国外企業と働く際には絶対にあった方がいいです。必要な機会も年々増えてきています。 国内SIerは英語ができると英語要員として社内で認知されるようになったりできるので英語勉強しようかなっ方て無駄にはならないのでぜひ挑戦してください。国内SIerの方はTOEICがものを言…

(Express.js)HTTPSサーバ構築時にエラーが出た際の原因確認方法

Express.jsアプリケーションをHTTPSサーバ化ではまった際に見直したい項目、確認方法について記載します。 普通に設定できていれば問題なく繋がるはずです。エラーが出ていた場合は何かしら設定ミスがあるはずなので一つ一つ確認していきましょう。ポート・サービスの確認サーバ側でポート、サービスを開放していないとブラウザから接続エラーが表示されます。 CentOS7の場合は、firewalldで設定します。 //ポートの確認 sudo firewall-cmd --list-ports --zone=public //サービスの確認 sudo firewall-cmd --list-servic…

Express.js(Node.js)をhttpsサーバで運用する

httpサーバで構築していたNode.jsアプリケーションをhttpsに切り替える手順です。 ハマった際のポイントも書きたいと思います。HTTPSサーバ構築手順1. 独自ドメインを取得（有料） 2. サーバ証明書を作成（無料もあり） 3. Node.jsアプリケーションを修正1. 独自ドメインを取得お名前.com等で独自ドメインを取得します。サーバ証明書を発行する際に必要ですので事前に取得しておきます。自分で運用するだけであれば「.com」の部分は好きに選んで問題ありません。私は今回は「.xyz」にしました。 ただ、初年度1円とかでも2年目3000円とかのドメインもあるので、購入する前に2年契…

Puppeteer使い方（入門編）

個人的によく使っているPuppeteer（伸ばさずにパペティアって読むぽい)の紹介記事です。 Webスクレイピングでブラウザの自動遷移とかができます。使えるシーン公式サイトやWeb情報を見ると自動テストで使用するのが多いみたいです。 私はテストではなくWebスクレイピングで使用しています。使えるシーンは限られますが、毎日Webアプリで同じようなことをしている時は自動化できます。実際に作ったわけではないですが、以下のような条件で使えると思います。 シーンは限られますが、毎日の定常作業がなくなるので実装できるとめちゃくちゃ楽です。例： 毎日ネット証券会社で同じ条件で株を買う 毎日同じサイトから新規…

技術書をKindleで買う際に注意したいこと

技術書を買う際にいつも迷うので基準をまとめてみました。 使用している端末はKindle Paperwhite、電子書籍リーダー(第7世代)、Wi-Fi 、4GB、ホワイトです。読みやすさ一番大事なのは読みやすさだと思います。普通のビジネス書であれば本でもKindleでも大差ありませんが、コードが入ってくると読みやすさが全然違います。正直Kindle版のコードはめちゃくちゃ読みづらいです。端末によっても違うと思うので極力サンプルを読んでみてください。 ただ、慣れると少し読みづらいけれど読めるようになってきますので無料サンプルを読んで行けるかなって人はKindleもありかもしれません。また、検索性…

Node.js(Express.js)でhttpヘッダセキュリティを設定する(use helmet)

Express.jsで推奨されているhelmetを設定します。Express.js公式サイト Security Best PracticeHelmetはhttpヘッダの設定をサポートしてくれるライブラリでWebの脆弱性対策に使えます。 設定も簡単なので早めに設定してしまいましょう。GitHub(Helmet)デフォルトのhelmet設定手順npmからhelmetをインストール npm install helmet --saveapp.jsで定義。use helmetは早めに書いておきます。 const helmet = require('helmet') ~~~ app.use(helmet(…

仮想通貨の本「これからを稼ごう 仮想通貨と未来のお金の話」

これからを稼ごう 仮想通貨と未来のお金の話作者: 堀江貴文出版社/メーカー: 徳間書店発売日: 2018/06/30メディア: Kindle版この商品を含むブログを見る 作者はホリエモンです。また監修は大石哲之さん。ホリエモンの仮想通貨やお金、社会に対するスタンスや見方を広く学べる本です。初心者でもわかりやすいですが、どちらかというとある程度知っている人がホリエモンの見方を学ぶという方がいいかなと思います。 先に入門書を読んでいた方が理解が深まります。また、後半仮想通貨から離れるので、「お金2.0」とか読んでるとよりわかりやすいかな。ホリエモンは仮想通貨をトレードをしているわけではないみたいで…

Node.jsの各種バージョンを最新化する

macOSやLinux上でNode.jsのバージョン確認を行う方法です。Node.jsのバージョンアップデートNode.jsのバージョン確認 node -v v10.13.0Node.jsのバージョンはnodejsのGithub(リリーススケジュール)から確認できます。2019年1月現在は10.XがActive LTS（最新版）です。 End-of-lifeが過ぎたものは使用しないようにしましょう。 11.xがcurrent releaseなのでもう少ししたら11.xが主流になりますね。10.xをクリックすると現在は10.15.0が最新のマイナーバージョンとわかります。 こちらも適宜あげておき…

ふるさと納税やったらワンストップ特例申請の申告特例申請書が来なかったんですが

サラリーマンならふるさと納税にチャレンジしてみましょうこんにちは。あなたはふるさと納税をやっていますか。私は数年前から毎年ふるさと納税をやっています。やってみると意外に簡単ですし、やり方を間違えないと絶対に損はしないのでおすすめです。 毎年同じ自治体に決めておけば手間も減りますよ。ちなみに楽天スーパーセールと絡めたりするとポイントもついてお得だったりもします。私の周りでは既婚者世帯はやっている印象ですね。単身者だと特産品とかにはあまり惹かれないかもしれませんね。ワンストップ特例申請をすれば原則確定申告は不要ですあなたが確定申告が不要なサラリーマンであれば、ワンストップ特例申請をすることで確定申…

Express.jsでエラーメッセージを隠す方法

今日連休が終わりました。正月太ってしまったのでダイエットも今年の目標に追加ですね。 もちろん一番の目標はJavaScriptのスキルアップです！Express.jsでエラーメッセージを隠す方法Express.jsのエラーメッセージ参考にしたのはExpress.js公式ページです。Webアプリケーションを公開する際に不要なエラーメッセージを出力すると攻撃者に情報を与えてしまうため、セキュリティ上望ましくありません。なのでエラーメッセージを隠します。基本的にはExpress.jsの機能でエラーハンドリングはできます。Express.jsの404エラーでこんな感じです。 Not Found 404 …

Passportを使用してログイン認証（Node.js）

Node.jsアプリケーションをWebサーバ化させるためにログイン画面を実装することにしました。個人用Webサーバであればログイン画面は不要なのですが、不要な情報を不特定多数に晒さないことがセキュリティにつながるため実装します。Passportっていうライブラリを使うことで簡単にログイン画面が実装できます。WebサーバはExpress.jsを使用して構築しています。Passportの公式サイトPassportの使用方法インストールまずはnpm経由でインストールします。passportではstrategy項目を定義する必要があるので、passport-localもinstallしておきます。セッ…

Kindleを買ったらKindleカバーも買う必要があるか（体験談）

明けましておめでとうございます。 2019年の目標は立てましたか。今年も暗号資産やAIやWeb技術に面白い一年になるといいですね。 今日はKindleカバーに関する記事です。 kindleの買い方は色々あるので他のネット情報を参照してほしいですが、カバーに関する記事はほぼなかったので書いてみます。ちなみに、「Amazonプライム」加入で4000円引きで買うのが主流かと思いますが、「Amazonプライム」加入していないときは、加入している人にプレゼントしてもらうという方法もあるみたいです。 （私は「Amazonプライム」に加入して1年で辞めました！）Kindleカバーって必要かみなさんはKind…