【数えるだけ】AIが単語を理解するトリックが巧妙すぎる【大規模言語モデル2】#130
プロモーション:Notion AI
Notion は無料で使えて、月額10ドルでNotion AIをご利用いただけます。
https://ntn.so/yurucom1
大規模言語モデルの肝「単語ベクトル」とは?「単語を数字の組で表す」「ぬくもりを捨てることで実現した技術」「Transformerはとにかく何かいい感じになる」など、自然言語を扱うコンピュータ科学の技術について話しました。
【ことラボ】
◯Twitter → https://x.com/KotoLaboRyo
◯YouTube → https://www.youtube.com/@kotolabo
◯「単語ベクトル」とは何か? → https://youtu.be/l8YCKz15Hn8
【目次】
0:00 コアラの対義語は?
0:46 大規模言語モデルの肝「単語ベクトル」
6:36 単語を数字の組で表す
14:32 実際には「次元圧縮」している
18:00 対義語は真逆のベクトル?
21:57 ぬくもりを捨てることで実現した技術
26:56 素晴らしきNotionAI
30:18 文脈化単語埋め込みは味付け化係
38:34 とにかく何かいい感じになる
43:33 ニューラルネットワークとは何なのか
【参考文献】
◯大規模言語モデル
https://amzn.to/3VKqed7
◯キテレツおもしろ自然言語処理
https://amzn.to/3VwInd4
◯風俗の虫―捜査官が覗いた日本の風俗70年
https://amzn.to/4bbs62W
◯自然言語処理の必須知識!Word2Vec とは?
https://www.kikagaku.co.jp/kikagaku-blog/word2vec/
※単語ベクトルの出典
◯【入門】深層学習の革命児!Transformer を今こそ理解しよう
https://www.kikagaku.co.jp/kikagaku-blog/deep-learning-transformer/
※文脈化単語埋め込みの出典
【サポーターコミュニティへの加入はこちらから!】
https://yurugengo.com/support
【親チャンネル:ゆる言語学ラジオ】
https://www.youtube.com/@yurugengo
【実店舗プロジェクト:ゆる学徒カフェ】
https://www.youtube.com/@yurugakuto
【おたよりフォーム】
https://forms.gle/BLEZpLcdEPmoZTH4A
※皆様からの楽しいおたよりをお待ちしています!
【お仕事依頼はこちら!】
info@pedantic.jp
【堀元見プロフィール】
慶應義塾大学理工学部卒。専門は情報工学。WEBにコンテンツを作り散らかすことで生計を立てている。現在の主な収入源は「アカデミックに人の悪口を書くnote有料マガジン」。
Twitter→https://twitter.com/kenhori2
noteマガジン→https://note.com/kenhori2/m/m125fc4524aca
個人YouTube→https://www.youtube.com/@kenHorimoto
【水野太貴プロフィール】
名古屋大学文学部卒。専門は言語学。某大手出版社で編集者として勤務。言語学の知識が本業に活きてるかと思いきや、そうでもない。
Twitter→https://twitter.com/yuru_mizuno
【姉妹チャンネル】
◯ゆる音楽学ラジオ (https://open.spotify.com/show/7Ba89bnuEW0pyMeUbGR3oT)
◯ゆる民俗学ラジオ (https://open.spotify.com/show/2OPaWdgRVuUv5jLeFBViDU)
◯ゆる天文学ラジオ (https://open.spotify.com/show/6CGctNRBpOJmNPPSbvGV51 )
◯ゆる書道学ラジオ (https://open.spotify.com/show/03kMZOoIJS9ybknZGv3zXc)
◯ゆる生態学ラジオ (https://open.spotify.com/show/7tTeHy7MjTGmrFrPGmjwMz)
◯ゆる哲学ラジオ (https://open.spotify.com/show/7t8NNVqRiisEHL4HG9tArT)
【数えるだけ】AIが単語を理解するトリックが巧妙すぎる【大規模言語モデル2】#130