職場が変わりAWSを使うことになったので一からAWSの学習をしています。 Azureでクラウド環境には慣れていたのですが、AWSのサービス名やAWS特有の知識というものもあるので慣れるのに少々時間がかかります。 ということで、強制的に知識を詰め込むためにAWS Certified Cloud Practitioner 認定の試験を受験し合格しました。 使った教材と問題集はこちらです。 AWS Skill Builder - AWS Cloud Practitioner Essentials (Japanese) (日本語実写版) 【AWS資格】無料WEB問題集＆徹底解説 クラウドプラクティ…

シリコンバレー（Silicon Valley）シーズン6が最終シーズン。やっと観ることができました。 最終シーズンともなると主人公たちの会社Pied Piperもかなり大きくなり、動く金額や世の中への影響も大きな会社になっています。 こんな夢のある会社で働いてみたかったなと思いつつドラマを楽しみました（笑） 2023年は「AI」元年とも呼ばれ、一般ユーザーが日々使えるレベルに「AI」が浸透してきました。 シーズン6が放送されていたのが2019年なのでChatGPTなども一般ユーザーの認知度は低かったと思いますが、ドラマの中では「AI」が頻繁に登場し当時を振り返ると少し未来を見据えたストーリーだ…

WSL2上のUbuntu 22.04.3 LTSでSpark and Icebergを試してみます。 まずはDocker/Docker Composeをインストールします。以下のサイト通りに実施すれば使えるようになります。 Install Docker Engine on Ubuntu Docker Docs # Add Docker's official GPG key: sudo apt-get update sudo apt-get install ca-certificates curl gnupg sudo install -m 0755 -d /etc/apt/keyrings…

久しぶりにWSL2上でUbuntuを使っていろいろ試していた際に、何度かUbuntuをアンインストール・インストールを繰り返していたら以下のエラーが発生しUbuntuが起動できなくなりました。 ディスク 'C:\Users\tworks55\AppData\Local\Packages\CanonicalGroupLimited.Ubuntu_79rhkp1fndgsc\LocalState\ext4.vhdx' を WSL2 にアタッチできませんでした: 指定されたファイルが見つかりません。 Error code: Wsl/Service/CreateInstance/MountVhd/HC…

データプラットフォームの候補として色々調べているところですが、恥ずかしながらHadoop/Hive全盛時代の浅い知識しかなく勉強しなおしています。 NTTデータさんが公開されている2019年の資料「大規模データ活用向けストレージレイヤソフトのこれまでとこれから」を見るとApache KUDU, Apache hudi, Delta Lakeが登場してきたのがこの頃のようです。 OLTP/OLAPどちらの用途にも使えるプラットフォームの構築をしたいのですが、このような情報を見るとおそらく一昔前までは難しかったことが、最近のテクノロジーを使えば行けるような気がします。 大規模データ活用向けストレー…

Data Platformといっても、人によってOLTP用なのかOLAP用なのかイメージするものが異なってくると思います。 私のバックグラウンドはAnalyticsのエリアではなく、ビジネスアプリケーション開発のエリアとなりOLTPの用途をすぐに想像してしまいます。 Data FabricやData meshといった概念は基本的にOLAP用を想定した概念であると最近理解しました。 AWSのサイトにデータメッシュとは何ですか? - データメッシュアーキテクチャの説明 - AWSという記事があり、DataLake、Data Fabric、Data meshの違いが書かれています。 また、IT Le…

APIやソフトウェアのライブラリを開発する際にバージョン管理をすることが多いと思います。 バージョン番号のルールを決める際に参考にしたいのがセマンティック バージョニングになります。 以下概要です。 バージョンナンバーは、メジャー.マイナー.パッチ とし、バージョンを上げるには、 1. APIの変更に互換性のない場合はメジャーバージョンを、 2. 後方互換性があり機能性を追加した場合はマイナーバージョンを、 3. 後方互換性を伴うバグ修正をした場合はパッチバージョンを上げます。 プレリリースやビルドナンバーなどのラベルに関しては、メジャー.マイナー.パッチ の形式を拡張する形で利用することがで…

Master Data Management patterns以外にもData Platformそのものを統合型にするのか分散型にするのかを考える必要がありました。 Data Platformといっても人によって定義は異なるかもしれませんが、ひとまず1つの企業でデータを統合管理する想定でその受け皿となる基盤というイメージで考えています。 「クラウドでデータ活用！データ基盤の設計パターン」では以下の3つに定義されています。 データレイク型 統合型 分散型 柔軟性・拡張性 ◎ △ 〇 コスト 〇 △ ◎ 難易度 △（難しい） ◎（簡単） △（難しい） サイロ化への対応 ◎（簡単） ◎（簡単） △（…

近々Data Managementの領域に足を踏み込むことになり色々調べている中で、今更ながらMDM (Master Data Management)について少し思ったことを書いておこうと思います。 Gartnerの定義によると Master data management (MDM) is a technology-enabled discipline in which business and IT work together to ensure the uniformity, accuracy, stewardship, semantic consistency and accounta…

先日Microsoftの認定資格を更新した際に気が付いたのですがMicrosoft LearnのサイトでCredlyと同じ機能が実装されたので、Credlyの情報は更新されなくなっているようです。 https://trainingsupport.microsoft.com/en-us/mcp/forum/all/released-microsoft-learn-certification-sharing/494a8425-748a-4bf8-a562-7a13f98d1dbb を参照。 LinkedinからCredlyにも連携していたのですが、資格の有効期限が自動更新されないようなのでMicr…

試験 AZ-104: Microsoft Azure Administratorに無事合格できました。 今回は会社の割引を使って受験したので、試験に落ちると会社にバレそうでかっこ悪いなと思いながらの受験でした。 普段ほとんどAzureのインフラ関連を触ることがなく座学オンリーの状態のため、Examtopicsで問題をこなしても感覚的に回答ができるものが少なく、新たに覚えることが多くなり非常に苦労しました。 同じ中級でもPL-500: Microsoft Power Automate RPA Developerの方がはるかに簡単な気がします。もともと開発者よりだからかもしれませんが、、、 今回も…

試験 MB-920: Microsoft Dynamics 365 の基礎 (ERP)に合格しました。 Dynamics 365 - Virtual Training Days - Microsoftに参加することで配布されるバウチャーを使い、無料で受験できます。 企業のリソース最適化を計画するための合理的なプロセスを実現する方法について解説します。 ファイナンス、サプライ チェーン、オペレーション、コマース、レポート作成、製造、人事管理を統合して管理する方法をこれから学びたい方におすすめです。 このような方におすすめです：IT 担当者、パワー ユーザー、開発担当者 試験 MB-910: Mi…

試験 PL-500: Microsoft Power Automate RPA 開発者に合格しました。 今回はバウチャーを購入して試験を受けたので少し緊張しましたが、合格できたので一安心です。 業務でそこまで使うことはないのですが、一応何ができるか知っておく必要があったので勉強したついでに資格も取得してみました。 Exam PL-500 is now live!の記事が出たのが2022/06/28なので、比較的新しい試験のようです。 こちらに合格することでPower Automate RPA Developer Associateに認定されます。 MicrosoftのRPAはPower Pla…

Chat GPTが話題になっていたので自分でもアカウントを登録して試してみました。 メールアドレスと電話番号の登録が必要ですがとても簡単に会話を試すことができます。 例えば、 従業員が1万人を超す企業でエンタープライズアジャイルを実施する場合、課題は何だと思いますか？ という質問をすると以下のような回答が返ってきました。 エンタープライズアジャイルを実施する場合、以下のような課題が考えられます。 組織全体がアジャイルに慣れていない場合、組織内でのアジャイル文化やプロセスの導入に時間や労力がかかることがあります。 従業員が多いため、人数の多いスクラムチームを組成することが困難であるかもしれません…

試験 MB-910: Microsoft Dynamics 365 Fundamentals (CRM)に合格しました。 Dynamics 365 - Virtual Training Days - Microsoftに参加することで配布されるバウチャーを使い、無料で受験できます。 CRM 販売、サービス、マーケティングの基本について詳しく解説します。これらの側面がどのように連携して顧客データを結び付け、ビジネス プロセスを合理化し、お客様との関係をより適切に管理できるかについて学びたい方にお勧めです。 このような方におすすめです：IT 担当者、パワー ユーザー、開発担当者 となっていますが比…

あけましておめでとうございます。 久しぶりにBlogを更新しています。 昨年最後の投稿はフランス語の勉強をはじめたという報告でした。 フランス語はDuolingoを毎日継続している状況ですが、なかなか上達しません。 その他IT関連も含めて今年も気長にやって行こうと思います。 本年もどうぞよろしくお願いいたします。

4月中旬あたりから少しずつフランス語の学習をはじめています。 3日坊主とならずに少しずつ前に進んでいる状況です。 英語をもっと深堀し流暢に話せた方が良いと思うのですが、少し気分を変えたいという気持ちもあり新しくフランス語にチャレンジしています。 英語と同様にフランス語もアルファベットがあり、そこから取り組み始めたのですが同じ文字でも英語と発音が異なるものがあり、未だに混乱することがあります。 特にJとGの発音がパッとできない… そして綴り字というものもあり、これから発音やこれらが意味することをきちんと覚えたいと思っています。 É, é À,Ù, à, ù Â, Î, Ô, Û, â, î, ô…

Minikubeを何のオプションも設定せずに起動するとシングルクラスターとして環境が構築されます。 tworks55@LAPTOP-A1R0H57F:~$ kubectl get node NAME STATUS ROLES AGE VERSION minikube Ready control-plane,master 10d v1.23.3 複数ノードを使って動作確認をしたい場合もあると思いますので、今回は複数ノードでminikubeを作り直します。 複数ノードでminikubeを起動 既にノードが作成されている場合は、起動オプションでノード数を設定しても無視されます。 The cluste…

WSL2上のminikubeでいろいろ試していたところ、知らない間にpodがimage取得に失敗するようになっていました。発生していたエラーは以下になります。 Failed to pull image "nginx": rpc error: code = Unknown desc = Error response from daemon: Get "https://registry-1.docker.io/v2/": dial tcp: lookup registry-1.docker.io on 192.168.49.1:53: read udp 192.168.49.2:41517->19…

Kubernetesを触り始めるとkubectlコマンドを多用しますが、リソース名が長くてタイプが面倒になってきます。 その際にリソース名の略称を知っていると少し便利です。どのリソースが省略名を持っているかは以下のコマンドで確認できます。 kubectl api-resources 先日作成したminikube環境で確認すると以下のようになります。 tworks55@LAPTOP-A1R0H57F:~/k8s$ kubectl api-resources NAME SHORTNAMES APIVERSION NAMESPACED KIND bindings v1 true Binding co…