大規模AIの作り方を学ぼう："The Llama 3 Herd of Models"論文輪読会#5

10月

2

大規模AIの作り方を学ぼう："The Llama 3 Herd of Models"論文輪読会#5

第5回：4.2 Post-Training Dataから4.3.2 Long Contextまで

主催 : 株式会社フィックスターズ

ハッシュタグ：#reading_the_llama3_paper

募集内容	輪読会参加（オフライン）無料先着順 6/30人聴講のみ（オンライン）無料参加者数 20人
申込者	申込者一覧を見る
開催日時	2024/10/02(水) 19:00 ～ 21:00 Googleカレンダー icsファイル
募集期間	2024/09/19(木) 09:34 〜 2024/10/02(水) 21:00まで
会場	株式会社フィックスターズ本社東京都港区芝浦3-1-1 (msb Tamachi 田町ステーションタワーN 28階) マップで見る会場のサイトを見る
出席登録	(イベント開始時間の2時間前から終了時間まで、参加者のみに公開されます)

参加者への情報

(参加者と発表者のみに公開されます)

イベントの説明

Llama Team AI @ Meta (2024): "The Llama 3 Herd of Models", arXiv cs.AI, 2407.21783の公開輪読会です。フィックスターズのエンジニアが集まる勉強に、誰でも参加できます。

Meta社が公開している大規模基盤モデルであるLlama3.1について、その作成の過程などが解説されている論文を読みます。

概要

この輪読会は、ソフトウェアの高速化を手掛ける株式会社フィックスターズの公開勉強会です。「輪読会を社外公開にして、参加者と議論・交流しながら一緒に勉強しよう！」と、エンジニアが主導して企画・開催しています。

Llama3に興味がある
最先端のLLM、特に基盤モデルをどのように作るのか知りたい
大規模AIの作成過程を通して、大規模並列処理や高性能計算(HPC)の知見を得たい
英語の論文を1人で読み進めるのはつらいので、日本語の解説がほしい

など、一緒にこの論文を読んで勉強したい方は、レベル問わず歓迎します！

聴講・議論・質問・コメントなど、自由なスタイルでご参加ください。発表はフィックスターズのメンバーが分担します。

輪読対象の論文

https://doi.org/10.48550/arXiv.2407.21783 から各自でお手元にダウンロード・印刷等で準備の上、ご参加ください

当日スケジュール

時間	内容
18:45-19:00	開場
19:00-19:05	開始、会場諸注意など
19:05-20:30	発表（内容と質疑等の活発さによって、30分程度前後する可能性があります）
20:30-21:00	雑談・感想など（オフライン懇親会）

会場について

フィックスターズ本社（JR田町駅）でのオフライン開催となります。開場時間の間に、28階まで直接お越しください。セミナー室入口にて受付いたします。輪読会は、単なる聴講だけではなく質問や議論などの相互的なやりとりを通じて理解を深める形式の勉強会ですので、ぜひ会場までお越しください。

また、どうしてもオフラインでのご参加が難しい方のために、Google Meetを通したオンライン配信で、聴講のみのご参加も可能です。 URLは参加登録した方に別途ご連絡いたします。開催時刻になりましたら、案内されたURLへご接続ください。ただし、イベントの運営形式上、オンライン聴講者の方からの音声やコメント等は拾えない可能性が高いことに、ご留意ください。

今後の開催予定

週1回程度の頻度で、全12回の開催を予定しています。毎週水曜19時から開催を予定しており、下記のような開催日程で計画しています。ただし、事情により変更になる可能性もあるため、実際の開催日時は、直前の回での案内と実際のconnpassページをご確認ください。

回	章	開催（予定）日
#1	1. Introduction 2. General Overview 3. Pre-Training 　3.1 Pre-Training Data	08/28
#2	3. Pre-Training 　3.2 Model Architecture 　3.3 Infrastructure, Scaling, and Efficiency 　　3.3.1 Training Infrastructure	09/04
#3	3. Pre-Training 　3.3 Infrastructure, Scaling, and Efficiency 　　3.3.2 Parallelism for Model Scaling 　　3.3.3 Collective Communication 　　3.3.4 Reliability and Operational Challenges 　3.4 Training Recipe	09/11
#4	4. Post-Training 　4.1 Modeling	09/18
#5	4. Post-Training 　4.2 Post-Training Data 　4.3 Capabilities 　　4.3.1 Code 　　4.3.2 Long Context	10/02（今回）
#6	4. Post-Training 　4.3 Capabilities 　　4.3.3 Math and Reasoning 　　4.3.4 Multilinguality 　　4.3.4 Tool Use 　　4.3.5 Factuality 　　4.3.6 Steerability	10/09
#7	5. Results 　5.1 Pre-trained Language Model 　5.2 Post-trained Language Model 　5.3 Human Evaluations	10/16
#8	5. Results 　5.4 Safety	10/23
#9	6. Inference 7. Vision Experiments 　7.1 Data	10/30
#10	7. Vision Experiments 　7.2 Model Architecture 　7.3 Model Scaling 　7.4 Pre-Training 　7.5 Post-Training	11/06
#11	7. Vision Experiments 　7.6 Image Recognition Results 　7.7 Video Recognition Results	11/13
#12	8. Speech Experiments 10.Conclusion	11/20

よくある質問

Q. フィックスターズについての説明などはありますか？
- A. いいえ。あくまで輪読会のイベントなので、会社紹介は予定しておりません。公式の会社紹介は、会社説明会などをご利用ください。会の最後に雑談や感想を話す交流の時間も用意していますので、そちらも合わせてご利用ください。
Q. 毎回参加が必須ですか？ / 前回不参加でしたが参加可能ですか？
- A. 参加したい回にご参加ください。ただし、発表は前回までの内容を踏まえた内容となります。
Q. 会について質問があります
- A. connpass上の"イベント管理者へお問い合わせ"からご質問ください。なお、回答については、皆さまへの全体配信にて代えさせていただくことがあります。