知性とはなにか ヒトとAIのあいだ

『知性とはなにか ヒトとAIのあいだ』を読みました。ディテールには甘い所はあるが、面白いとは思う。ディテールの甘い所は多々ある。まず、気になったのはGPUとCPUの比較をしたコラム。基本的に整数の演算しかできない。というのは恐らく、浮動小数点の説明を初学者向けに省略したから起きている。 基本的に、多くのCPUでは多くの科学技術演算に必要な倍精度浮動小数点あたりをターゲットに、比較的少数の演算器を実装している。ここからはみ出すのはベクトル計算機であり、現在、商業的には殆ど成功していない。従って、ベクトル計算機に対比して、現在の多くのコンピュータをスカラ計算機と呼ぶこともある。 従って、コラムで言う以下の項目は実は統合して一つの事実をさしている。 小数の演算が速い 並列計算で加速できる つまり、通常のCPUは少数の浮動小数点演算器による処理が行われており、深層学習モデルのモデリングの際に必要とする多数の演算には最適化されていない。そして、深層学習モデルの演算においては実は高精度の演算は必ずしも必要ではないので、GPUの実装している半精度などの浮動小数点処理の並列計算がよくフィットする。 もう一つの、ディテールの甘さは、2章の深層学習から生成AIへで発生している。恐らく、データリッチなことが深層学習の性能に影響を与えたのは確かだろう。この辺は実際に、スケーリング則のような経験則と符合している。しかし、過去において、データが少なかったことだけが深層学習を妨げていたわけではない。 それには、過去2回のニューラルネットワークブームとその終焉を探る必要がある。ニューラルネットワークモデルの嚆矢となったのは1943年のウォーレン・マカロックとウォルター・ピッツの研究と思われるがここから続く最初のニューラルネットワークブームにとどめをさしたのがS・パパートやマービン・ミンスキーのパーセプトロン限界説だ。 その後、福島邦彦のネオコグニトロンなどを経て、バックプロパゲーションが再発見され、再度のニューラルネットワークブームがやってくる。しかし、それはこの本でも書かれている通り、オーバーフィッティングという壁にぶつかり、表舞台では殆ど見かけなくなる。しかし、その時にはオーバーフィッティングともう一つの壁があった、それが勾配消失問題である。 初期の、ニュータルネットワークでは多くの場合、活性化関数としてシグモイド関数を使用していた。 シグ

• #AI