松尾研 LLM講座 講義コンテンツ | 東京大学松尾研究室 - Matsuo Lab
松尾研究室が2023年9~10月に東京大学サマースクールで開催した LLM 大規模言語モデル講座のコンテンツを無償公開しています。 本講座は約2,000名の受講者が参加し、全7回の講義を実施しました。 最終課題としてGPUを使ったコンペティションでは約800名が参加し熱戦を繰り広げました。 現在、講義のスライドのみ公開しております。 ダウンロードは利用規約を確認の上、下記からダウンロードをお願いいたします。 最終更新: 2024年2月10日 問題・フィードバック報告フォームはこちら 第1回：Overview of Language Models LLMの概要、今後の各回の講義の概要、および日本のLLM開発状況について 第2回：Prompting and Augmented Language Model 事前学習済みLLMを追加学習せずに活用する技術（プロンプティング、⽂脈内学習、Augme
初学者の私がGitを理解するために、この順番で読めばよかったと思った記事の順番 - Qiita
エンジニア未経験のわたしがGitを学ぶ上で、この流れで記事を読むべきだったと思ったことを記載する。 完全に初学者意見のため、疑いながら読んでください。 私は下記の流れで学習することによって、理解をしやすいように感じた。 ① Gitで何をしているかのイメージを掴む（コマンドなし） ② Gitのイメージを、コマンドで実現している記事をみる ③ 実際にGitのコマンドを打ちながら、出力と、頭の中のイメージのすり合わせ Gitで何をしているかのイメージを掴む（コマンドなし） こちらの記事は、Gitのイメージをコマンドなしで、わかりやすく図で示してくださっています。 記事にも記載されていますが、 ・重要なのは 「何」から「何」へ・「どんな作業」を行う のかを追う ・操作前と操作後でどんなことが起こっているのかをイメージする 上記の内容が、すごく同意で、重要だと感じている。いきなりコマンドを打ちながら
GMOペパボのエンジニア研修2021の資料を公開します - Pepabo Tech Portal
はじめに 今年のエンジニア研修の担当をしたkurotakyとtokkyです。ペパボのエンジニア研修2021がはじまっていますという記事を書いてあっという間に時が経ち、先日研修が終わったので研修資料を公開します。各研修の講師からコメントをもらっているので、ぜひ読んでいってください！ 研修を実施するにあたって、専門的な内容を学んでから現場に入る方法や、幅広い技術層に触れてから現場に入る方法など、さまざまなスタイルがあります。ペパボでは最新の技術の幅広く触れてOJTに入っていくやり方を選択しています。それはなぜかというと、GMOペパボのわたしたちが大切にしている3つのことの中で、「みんなと仲良くする」ということ話がありますが、みんなと仲良くするというのは、エンジニアという職種だけでも100人以上になり、そのみんなと仲良くするのは実際は結構難しいと思います。過去にCTOのあんちぽさんが2017年の
RubyとRailsの学習ガイド2019年版
この記事は RubyそしてRailsをこれから勉強したい方に、どんな技術を勉強すればいいかと、それらの技術全体のガイドマップを図示します。そしてそれを学ぶための資料（書籍、Web記事ほか）を紹介していきます。この記事は、頭の中に技術全体の地図を描き、イメージしてもらうのが狙いです。 Railsアプリを作るときに必要になたくさんの技術について説明していきますが、本当にたくさんの技術が出てきます。まだ学んでいない、分からない言葉が出てくると思いますが、全体を把握するために、ひとまずは「そういう技術があるのだな」くらいで捉えてもらえればと思います。将来、その言葉が出てきたときに「どこかで聞いたような？」と思えたら儲けものです。 勉強方法のお勧めは、1つの知識を徹底的にやるよりも、まずは全体を通して勉強し、そのあとで勉強したいところに戻って積み重ねて学んでいく方が、挫折しづらいのでお勧めです。 追
30分で完全理解するTransformerの世界
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
初心者向けPython教材・資料のおすすめ度
※随時更新、本記事は、親記事「 anond:20211018163759 」も合わせて読むことを推奨しております。 色々なぶくまで紹介される Python 等の資料について、一応初心者は脱している身として、私見を元に初心者に向けたおすすめ度を紹介していく。 ★～★★★★★ で個人的なおすすめ度も示している。 ゼロからのPython入門講座：★★★★URL： https://www.python.jp/train/index.html Python 情報サイトの老舗である Python Japanの初心者向けコンテンツ。若干覚える量が多いので挫折が心配になる分量ではあるが、普通の初心者を意識した内容であり、初学者にもおすすめできる範囲の内容と考える。 勿論、有償の書籍のほうが充実したものも多いだろうが、無償の中では比較的初心者向け。 paiza ラーニング：★★★★URL： https://
TensorFlowコトハジメ 八百屋で勾配降下法 - デジタル・デザイン・ラボラトリーな日々
はじめに 予測モデルを推測する分かりやすいサンプルを見つけたので、この資料を基に理解していく。 TensorFlow を使った 機械学習ことはじめ (GDG京都 機械学習勉強会) from 徹 上野山 機会学習勉強会 (2016.2.27)のつぶやき 実績データからパラメータを推定。パラメータを使って、結果を予測 パラメータ特定できない場合、合計金額の誤差が小さくなるような単価を採用する 全ての組み合わせを検証するのではなく、少ない計算で最短距離で行う 学習：予測式、誤差の計算、誤差の最小とする組み合わせ 先程の例を線形回帰（線形重回帰）の式にする 誤差を決める。誤差関数と最適化手法を記述 学習率が大きすぎても失敗する。 勾配降下法とは 誤差の最小値を求める手法。 パラメータの特定できない場合、誤差が小さくなるような値を採用する。 イメージ例 例題１ たかしくんは八百屋へお使いに行きました
機械学習で競馬の回収率100%超えを達成した話 - Qiita
はじめに みなさん競馬はお好きでしょうか？ 私は今年から始めた初心者なのですが、様々な情報をかき集めて予想して当てるのは本当に楽しいですね！ 最初は予想するだけで楽しかったのですが、『負けたくない』という欲が溢れ出てきてしましました。 そこで、なんか勝てる美味しい方法はないかな〜とネットサーフィンしていたところ、機械学習を用いた競馬予想というのが面白そうだったので、勉強がてら挑戦してみることにしました。 目標 競馬の還元率は70~80%程度らしいので、適当に買っていれば回収率もこのへんに収束しそうです。 なのでとりあえず、出走前に得られるデータを使って、回収率100パーセント以上を目指したいと思います！ 設定を決める 一概に競馬予測するといっても、単純に順位を予測するのか、はたまたオッズを考えて賭け方を最適化するのかなど色々とあると思います。また、買う馬券もいろいろな種類があります。 今回
データ収集から機械学習まで全て行って競馬の予測をしてみた
概要 ※ Qiitaから移行して、一部追記しました(さらに追記の項を参照) 元タイトル：データ収集からディープラーニングまで全て行って競馬の予測をしてみた 某T大学で情報系を専攻している学生です。Qiitaの記事を色々見ていたら、こんな記事を発見。 ディープラーニングさえあれば、競馬で回収率100%を超えられる この記事の回収率100%達成に関しては、購入シミュレーションした馬券の数が少ないので、他の期間でも成立するのかはわかりません。ソースコードも有料なのでどうやっているのかの詳細もわかりません。しかし、自分で競馬予測をしてみても面白そうだと思ったので、勉強するつもりで実際にやってみました。 データ収集・分析・予測のすべてを行うことになるのでかなり勉強になります。 なぜ競馬なのか？ もしかしたらお金になるかもしれないという欲もありましたが、競馬は控除率が高いらしいのであまり期待はできませ
AIプロジェクトにおける説明可能性の方針 - techtekt
こんにちは。デジタルテクノロジー統括部でアナリストをしているY・Nです。 パーソルキャリアのデジタルテクノロジー統括部は、一般社団法人データサイエンティスト協会が定める「データサイエンティストに求められるスキルセット」を基に、以下の3つのグループが組織されています。 ビジネスグループ アナリティクスグループ エンジニアグループ 出典：データサイエンティスト協会 これらの3グループが互いに連携しあい、AI（ここでは機械学習による予測モデルを指すことにします）によって様々な業務を自動化させたり、意思決定の補助に利用させるプロジェクトに取り組んでいます。 その際、「AIの判断根拠をどの程度（どの様に）見せれば良いか」ということが常にビジネスグループで議題に上がります。殊にAIの予測結果を人間（特に営業部門の人）が見た上で意思決定の補助として利用する場合に顕著で、判断根拠が表示されないブラックボッ
CloudLicense | AWS WEB問題集で学習しよう
「60,000人 以上の利用者」 「AWSおよびGCP認定試験の16科目を購読可能」 「日本一の合格者レビュー件数」 本ページは、AWS 認定試験のオンライン学習サイトです。 2015 年から運営しており、6 万人以上の会員が本サイトを利用して学習しています。 WEB 問題集、動画の閲覧、実際の試験をシミュレーションした本試験モードなどの 複数の異なる学びを通して効率よく学習を進められます。 問題集を解くだけではなく、回答および説明を熟読することで、 AWS の仕組みを深く理解し、あなたのクラウドスキルのレベルを底上げします。 ※合格者レビュー件数とは、AWS認定試験の合格者レビューの登録件数です。
「無料のKaggle公式講座×コンペ初参戦」で機械学習を始めよう
連載目次 こんにちは、初心者Kagglerの一色です。また、この連載の記事を開いてくれてありがとうございます！ 前回は「Kaggle初心者のためのコンペガイド ― Titanicの先へ：僕たちのKaggle挑戦記」という記事を公開して、ブックマーク数は少なかったものの、そこそこのページ参照数が得られました。ドキドキしながらの記事公開でしたが少し安心しました。これを受けて、自分もそうだったのですが、「取りあえずTitanicコンペでSubmission（提出）まではやったけど、次のコンペティション（本稿ではコンペと表記）になかなか取り組めない」という人が少なくないということなのかなと思いました。 壁「Titanicの次」を突き破る！ オススメの方法 筆者はどうやって「Titanicの次」という壁を突き破れたのか。そのきっかけになったのが、前回の記事で「Kaggleを始めるのに役に立ったこと」
株式会社リクルート エンジニアコース新人研修の内容を公開します！（2021年度版） | Recruit Tech Blog
こんにちは！ Webフロントエンドエンジニアの眞野 隼輔です。 毎年大きな反響を頂いている、エンジニアコースの新人研修の内容を紹介させていただきます。 研修の概要 リクルートでは、エンジニアコースでスペシャリスト採用された新卒のエンジニアを対象に、現場で培われた「本当に必要な生きた知識・技術」を取り入れた新人研修を開催しています。 前半は研修では各分野に長けた社員による講義形式の技術研修を行い、後半は仮配属という形でそれぞれ別の部署に配属されて実際の業務を経験するOJTとなっています。 この技術研修はそのほとんどが内製されており、ベテラン社員による経験を元にした講義を通して生きた知識・技術を獲得できます。また、実際に手を動かす演習型の講義ではベテラン社員からのレビューやフィードバックを得られるため、知識の定着や更なる成長へと繋がります。 本年度の技術研修も、昨年度に引き続きフルリモートでの
ハーバード大のプログラミング講座を日本語化 無料で学べる「CS50.jp」公開
米ハーバード大が無償公開しているプログラミング入門講座を日本語に訳したWebサイト「CS50.jp」が公開された。プログラミング教育ベンチャーのLABOTが、「コロナ禍などで大学のキャンパスの環境が不安定になる中、多くの学ぶ意欲がある学生に、良質な教材に母語でアクセスしてほしい」と翻訳作業を進めてきたという。 公開したのは、ハーバード大コンピューターサイエンス学部のデビッド・J・マラン教授が、無料オンライン教育サービス「edX」で公開している人気講座「CS50」のうち、コンピュータサイエンス入門と、Python・JavaScriptを使ったプログラミング講座を日本語訳したもの。YouTubeの英語教材とあわせ、日本語のテキストで学べる。 CS50は、非営利で再配布・改変可能なクリエイティブ・コモンズライセンス（CC BY-NC-SA 4.0）で公開されており、非営利なら改編や再配布が可能だ
Pythonの基礎やDXの事例を学べる講座が無料に | Ledge.ai
画像は「巣ごもりDXステップ講座情報ナビ」より 経済産業省は、人工知能（AI）やデータサイエンスなどのデジタルスキルを学べる、無料オンライン講座を紹介する「巣ごもりDXステップ講座情報ナビ」を公開している。 この記事では、同サイトに載っている無料の学習コンテンツのなかから、AIおよびデータサイエンス関連の入門講座を5つ抜粋して紹介する。 1.DXの事例や何をすべきか学べる講座が無料に 株式会社チェンジが提供する「デジタルトランスフォーメーションの基礎」では、DXの基礎について、DXとは何か、DXの事例、DXに向けて何をすれば良いのかを学べる。 受講対象者は「デジタルを活用し、事業や会社を変化させたい人」「DXという言葉は知っているが、なぜ重要なのか、また何から始めたら良いかわからない人」。前提知識は特になし。標準受講時間は各コンテンツが約10～15分程度で、総視聴時間は約38分。 2.AI
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「高等学校における「情報II」のためのデータサイエンス・データ解析入門」｜統計学習の指導のために（先生向け）
Simple perceptron by TJO
PyTorch の基礎 - Training
東京大学、数理・データサイエンス・AIに関する教材を無償公開／政府の「AI 戦略 2019」に対応したモデルカリキュラムすべてに準拠
（修正）機械学習デザインパターン（ML Design Patterns）の解説
