fanta_orange_grapeの(日記というより)記事のつもり

いままでの人生で一番美味しかったもの = 紅茶とトースト(高校生)。

【英単語の意味(最もよく使われる意味)】No.MOM001: lost

lost(longman)

https://www.ldoceonline.com/jp/dictionary/lost から引用

if you are lost, you do not know where you are and are unable to find your way somewhere

lost(英辞郎

https://eow.alc.co.jp/search?q=lost より引用

〔自分がどこにいるかが分からなくなり〕道に迷った、迷子になった

【まじ衝撃を受けたツール30】No.GEKI001:英単語をカタカナ表記にする

まじ衝撃を受けたツール30。No.GEKI001。英単語をカタカナ表記にする

内容

英単語をカタカナ表記する。

tech.morikatron.ai

衝撃の程度(1:うわぁ、こんなんあるんだ、らっきー 2:なんじゃこりゃ、なんでー 3:ちょっと、何が起きてるか理解できない 4:体が震える)

1

どこが衝撃的か

英単語をカタカナ表記に変換してくれるものは沢山あるが、、、ちょっと、実際の音と違うことがあるんですよね。。。。 単語によって、あたりはずれあると思うが、ちょっと、個性的で貴重!!

【AI周辺100の疑問】No.SU001: ECCのないGEFORCEとかでAIの計算をして大丈夫か

AI周辺100の疑問。No.SU001。ECCのないGEFORCEとかでAIの計算をして大丈夫か

疑問のステータス

未解決。

疑問の内容

NVIDIAGPU等において、ECCのないグレードである、GEFORCEとかでAIの計算をして大丈夫か。 宇宙線とかでビットエラーが起きるのでは?それで、めちゃくちゃな計算結果が出るのでは??? 深層学習のトレーニング途中のデータ部とかでのビット誤りだと、おそらく、何の問題もないと思うが、そんなに単純にデータ部のエラーとなるのか??? 意外とデータ量の比較で、ほぼ常に、些細なデータ部のエラーになるのだとうか。 Accuracy直撃で、正解率103%とかになったら、Arxivに投稿しよう(絶対抜かれないので。。。)。

【AI100の疑問】No.001: Transformerでcifar10が上手く学習できない理由

AI100の疑問。No.001。Transformerでcifar10が上手く学習できない理由

疑問のステータス

未解決。

疑問の内容

Attention is all you needで有名なTransformerの画像への展開としてViT等があるが、これを画像のデータセットcifar10に適用した場合、たぶん、90%の正解が出せていないと思う。このデータセットは、CNN系のネットワークでは簡単に95%とか、もっと、98%とか出せる(当然、augmentationとかは使う)。 さて、これは何が原因か。 原因として考えられる方向性は2つ。

  • そもそもデータセットが不適切。CNN系のネットワークはこの不適切なデータセットにつきあってしまっているだけという考え方。
  • データ量が不足。

疑問に対する回答

全くわからない。 ViT他の改良版等が待たれる。Transformerの発展形のPerceiver等の動向にも注目したい。

コメント

この疑問に対する回答とかコメントがあれば、お願いします。

【考え方】AIが7歳ぐらいの子供にも劣る理由は、xxxだ。

AIが7歳ぐらいの子供にも劣る理由は、xxxだ。

話が捻じ曲がるかもしれませんが。。。。

xxxの回答

xxx = DNA

説明

話が捻じ曲がっているとは思いますが、 7歳ぐらいの子供も、DNAによって仕込みが入っており。

  • 生命誕生から、既に35億年。
  • 無限の数の生命体でパラレルに学習(トレーニング)した成果。

上記の時間と、数から考えて、そう簡単には、人は超えられないはず。

【(わりと)最新論文】Perceiver: General Perception with Iterative Attention

Perceiver: General Perception with Iterative Attention

arxiv.org

この論文のすごいところ

これは、attention系です。 フーリエと位置エンコーディングで、画像をバイト列として処理しきっている。。。ように読める。

余談

CNNぐらいなら、みんなにわかりやすかったと思うのですが、だんだん、わからなくなってきましたね。。。。残念?

引用されてるか(Google Schalorから引用)

2021/07/16

f:id:fanta_orange_grape:20210716035740p:plain

GPLは、難しそう。。。。

GPLは、難しそう。。。。 一例、以下。 https://jpn.nec.com/oss/osslc/doc/20200221_OSC_TokyoSpring16up.pdf

少し気になるのが、面白い技術がgithub等で公開されたときに、 最初の人がGPLにしてしまう(?)と、後続のもGPLになる場合が多く(?)、 何か、この特定の技術がGPLに染まるのが。。。抵抗がある。

たぶん、あんまり内容ないと思うが、「GPL」に関する自分の記事

fanta-orange-grape.hatenablog.com

fanta-orange-grape.hatenablog.com