メインカテゴリーを選択しなおす
AIモデルの裏側を探る：アテンションメカニズムの可視化とは？
最近、あちこちに出てきた、Anthtropicの"On the Biology of a Large Language Model"が気になった。紹介としては、MIT Technology Reviewの"大規模言語モデルは内部で 何をやっているのか？ 覗いて分かった奇妙な回路(有料記事)“がある。しかし、有料記事であり私も、中身を見ていない。そのため、この記事のベースであろう、原著論文を辿った。 その結果、以下のことが示唆されるようだ。 多段階推論: Claude 3.5 Haikuが、例えば「ダラスを含む州の州都は？」という質問に対して、「テキサス」という中間的な概念を内部で特定し、「オースティン」という最終的な答えを導き出すといった**「二段階」の推論**を実際に行っていることが示されました。アトリビューショングラフによって、この内部ステップを視覚的に捉え、操作することも可能です。 詩の作成における計画: モデルが詩の行を書く前に、潜在的な韻を踏む単語を事前に特定し、計画していることが発見されました。これらの事前に選択された韻の候補が、その後の行全体の構成に影響を与えている様子が観察されています。 多言語回路: Claude 3.5 Haikuは、言語固有の回路と、言語に依存しない抽象的な回路の両方を使用していることがわかりました。より小型で能力の低いモデルと比較して、言語に依存しない回路がより顕著であることが示されています。これは、モデルが概念をより普遍的なレベルで理解し、処理する能力が高まっていることを示唆しています。 足し算の一般化: 同じ足し算の回路が、非常に異なる文脈間で一般化されている事例が確認されました。これは、モデルが抽象的な計算能力を獲得していることを示唆しています。 医療診断: モデルが報告された症状に基づいて候補となる診断を内部で特定し、それらを用いて追加の症状に関するフォローアップの質問を生成する様子が示されました。これも、モデルが明示的にステップを書き出すことなく「頭の中で」推論を行っている例です。 エンティティ認識とハルシネーション: モデルが既知のエンティティと未知のエンティティを区別する回路を持つことが明らかになりました。この回路の「誤作動」がハルシネーションの原因となる可能性があることが示唆されています。既知のエンティティに関する質問に対しては、モデルは既知の答えを抑制する
半導体入門：私たちの日常に欠かせないテクノロジーの基礎を学ぶ
この記事では、半導体の基本的な機能とその重要性を簡潔に解説し、かつての技術大国としての地位を取り戻すべく動き出した日本の半導体産業について詳しく掘り下げます。熊本工場や国内外の投資動向を交え、日本が半導体市場で再びリーダーになるためのチャレンジを解析します。
皆さんの中にもバッジテストに挑戦した又は挑戦している人も多く居ると思います。そしてなかなか合格出来ずに悩んでいる人も結構多いのでは無いでしょうか。私も2級受験の際にはあきれる程何度も何度も不合格を繰り返しました。なので自分と同じ様な不合格を繰り返している人に合格へのアドバイスを送りたいと思います。
オフシーズン期間も来期の上達を目標に、スノーボードカービングターンに必要な動作を力学的に解説したいと思います。今回はカービングターンで重要な「エッジに乗る動作」に関して改めて考えてみましょう。
カービングターンはスノーボードを立ててエッジに乗りボードをたわませてターンを行います。その第一歩のスノーボードを立てる動作は意外と難しい物ですが多くの人は勢いで片付けてしまいます。改めてスノーボードのエッジを立てる際に身体とボードに何が起こっているのか感覚ではなく物理的力学的に検証してみます。
スノーボードで良く有る困り事の一つにブーツの中で踵が浮き上がりゴソゴソと動いてしまう"踵浮き"が有ります。今回はこの踵浮きを解決すべく数々有る原因とその対策、解決方法を解説します。 踵浮きでお困りの方は是非ともこちらを参考に解決そしてスノーボードの上達へとお進みください。
スノーボードでのカービングターンとスライドターンの使い分けの話です。単純に入門者向けと上級者向けとかに分けるのは乱暴では無いでしょうか。
ASUSルーターのOpenVPN設定を一つずつ順番に見ていきます。ASUS公式サポートのFAQにも設定方法のページがありますが、基本的な設定しか説明されておらず、設定項目ごとの解説はありません。（私が見つけられていないないだけだったらすみま
スライドターンでの重心位置と体軸の方向 ～スノーボードの滑走技術～
スノーボードでのスライドターンは初めに練習する滑走技術ですが導入技術として扱われる為多くの場合はすぐに次の技術へと移行して余り深く検証される機会がありません。でもスライドターンの仕組みを理解することでその対比としてカービングターンやトリック等の動作についての理解も進む物です。しっかり理解しましょう。
スライドターンと聞くと初心者がはじめに練習するアレと多くの人が反応すると思います。 でも実は色々と奥が深く様々な要素が詰まったスノーボードの滑走技術なのです。 今回は少し深くこのスライドターンを解説してみました。
スノーボード滑走中の低い姿勢 ～重心位置の高低で何が変化するのか～
スノーボード仲間からの素朴な質問。スノーボードでは低い姿勢が必要と良く言われるのですがそもそも何故必要なのでしょうか？ に関して説明してみました。昔学んだ物理法則など思い出しながら読んでみて下さい。
スノーボードの滑走中の身体動作には日常生活では全く使用しない動作も多く含まれます。練習の際にはこの事実を知った上での実施方法が必要です。一例としてトウサイドターンでの足首の使い方を解説しました。滑走中にブーツの中でかかとが浮いてしまう人は実はブーツ要因では無くこの非日常の動作が原因かも知れません。
