那麼，您的目標是深入研究 AI？但您不確定如何或從哪裡開始？

2020 年，我分享了一份清單 線上提供 20 個免費的資料科學、機器學習和 AI MOOC。然而，我逐漸意識到，報讀眾多課程並不是最有效的方法。

為了擺脫無休無止的教程循環並真正獲得專業知識，您需要參與實際應用，從頭開始開發演算法，實現研究論文，並開展引人入勝的 AI 專案來解決現實世界的問題。

這件作品力圖打造一個 免費的 符合這意識形態的課程。我正在積極學習其中一些課程，因此請隨意 保持聯繫 在 推特 或者 領英 如果你想和我一起學習！

另外，如有遺漏，還請大家批評指正！

在深入研究細節之前，需要考慮一些關於課程的見解和一些關於學習過程的指導。

從上到下開始

本課程採用由上而下的方法論—— 最初專注於編碼，後來專注於理論.

我更喜歡 出於必要而學習。每當需要解決問題、設計解決方案或建立原型時，我都會廣泛搜尋基本訊息，理解它，然後採取行動。

例如，我的目標是發展成為一個 AI工程師 精通基礎水準的法學碩士。這需要從頭開始編碼 Transformer 並在 GPU 上微調 LLM 的能力。目前，由於我的知識差距，我缺乏這種熟練程度，我決心彌補這一差距。

本課程主要著重於NLP；如果您對電腦視覺或強化學習等其他 AI 專業感興趣，請在下面發表評論或直接給我留言 推特 或者 領英。我將為您提供一些推薦的資源。

在用大量鏈接淹沒您之前，我希望有人強調過 兩個關鍵方面 在開始學習之旅之前我就應該要意識到這一點。

公共領域的教育

知識領域廣闊，持續學習勢在必行，特別是在 AI 領域，每週都會出現突破性的研究和概念。

一個人可能犯的最嚴重的錯誤就是將學習限制在私人領域。這樣做就會限製成長機會。僅僅完成任務是沒有意義的。更有價值的是你如何吸收訊息，將其轉化為知識進行傳播，並基於這些知識構思創新的解決方案和想法。

因此，至關重要的是 在公共場所進行教育.

這可能需要：

• 起草博客和教程
• 參加黑客松並與同儕合作
• 在 Discord 社群中提出並解決疑問
• 著手個人有興趣的項目
• 在 Twitter 上分享新發現

此外，說到推特，

使用 Twitter 作為工具

當有效地並根據正確的個人使用時，Twitter 被證明是當代最有價值的社交平台。

跟隨誰？看看這個精心策劃的 Suhail 的 AI 列表.

使用推特？請參閱附近的指南 有效的推特實踐.

聯絡 Twitter 上的個人。真誠、簡潔並清楚地表達您的要求。本指南關於 製作冷郵件 Sriram Krishnan 的著作也適用於私訊。

推文組成？ 參考 推文的元素 經過 賈森，開發商 講師，幾個月內就累積了 14,000 名粉絲。

如果您正在閱讀本文，請執行以下操作 在推特上關注我!

聯絡我 關於您正在進行的項目！在有趣的事業上的合作總是引起我的興趣。

現在讓我們深入研究細節。

內容概述

• 數學基礎
• 推薦工具
  ∘ Python
  ∘ 火炬
• 機器學習
  ∘ 從頭開始創建演算法
  ∘ 參加比賽
  ∘ 副業項目的執行
  ∘ 專案部署
  ∘ 補充資料
• 深度學習
  ∘ 快速人工智慧
  ∘ 參與更多比賽
  ∘ 研究論文的實施
  ∘ 探索電腦視覺
  ∘ 深入 NLP
• 大型語言模型
  ∘ 觀看神經網路：從零到英雄
  ∘ 參加免費的法學碩士訓練營
  ∘ 與 LLM 一起建立項目
  ∘ 參加黑客松
  ∘ 探索研究論文
  ∘ 從頭開始開發 Transformer
  ∘ 建議閱讀的博客
  ∘ 觀看 Umar Jamil 的作品
  ∘ 學習營運開源模型
  ∘ 快速工程技術
  ∘ 微調法學碩士
  ∘ 關於RAG的研究
• 持續更新
• 替代課程和參考列表

數學基礎

達爾E

機器學習很大程度上依賴三個核心數學支柱：線性代數、微積分以及機率和統計。這些元素中的每一個都在促進演算法的最佳性能方面發揮著重要作用。

• 線性代數： 作為資料管理和操作的數學框架，矩陣和向量作為演算法解釋和資訊處理的主要媒介
• 結石： 作為機器學習優化的驅動力，使演算法能夠透過理解梯度和速率變化來學習和改進
• 機率與統計： 為不確定性中的決策提供基本原則，使演算法能夠預測結果並透過機率和變異數模型從資料中學習

從開發人員的角度探索機器學習數學的非凡系列 這裡 透過權重和偏差。

原始碼)

如果您喜歡以程式碼為中心的線性代數方法，請探索 計算線性代數 (影片系列, 原始碼）由 fast.ai 的開發者分享。

跟隨 使用 Python 進行應用機器學習的線性代數簡介 與課程同時進行。

如果您想要更傳統的方法，請查看 倫敦帝國學院講座 — 線性代數 & 多元微積分.

查看 3Blue1Brown 的 線性代數本質 和 微積分本質.

觀察 統計基礎知識 透過 StatQuest 進行統計

其他資源

• 書： 機器學習數學
• 紙： 深度學習所需的矩陣微積分

資源

達爾E

Python

初學者可以從這裡開始： 實用Python編程.

如果您已經精通 Python，請考慮 進階 Python 掌握

這兩門課程都是 Python Cookbook 的創作者 David Beazley 的精彩課程。

接下來，深入探討 詹姆斯鮑威爾的 簡報

探索 Python 設計模式.

其他資源

• 書： 流利的Python，第二版 (原始碼)
• podcast: 真正的Python & 談論Python

火炬

手錶 PyTorch 教學課程 經過 阿拉丁佩爾森

PyTorch 網站提供有價值的內容。

• PyTorch 範例
• 官方 PyTorch 教程
• 常見問題頁面

用一些謎題挑戰自己

• srush/Tensor-Puzzles：解決難題。增強您的 PyTorch 技能

其他資源

• 書： 用於深度學習的 PyTorch 編程

機器學習

達爾E

請參閱 100 頁機器學習 書。

從頭開始開發

在學習的同時，從頭開始實作演算法。

請參閱下面列出的儲存庫

• eriklindernoren/從頭開始的機器學習
• 傑里米尼克森/甲骨文
• Trekhleb/自製機器學習

對於具有挑戰性的任務，請按照本課程從頭開始建立 PyTorch。

• MiniTorch：機器學習工程 DIY 課程 (影片系列, 原始碼)

參加比賽

將您的知識應用到競爭場景中。

• 在以下平台上參加 ML 競賽 比特粒度 和 卡格爾;尋找更多內容 本文.
• 審查 先前獲勝的解決方案 並分析它們

參與業餘項目

探索 將機器學習引入生產 透過維琪·博伊基斯

她也記錄了自己的建築經驗 維貝拉里，一個語意書籍搜尋引擎。

取得資料集並開發模型（例如，槓桿 地球接入 用於 NASA 地球數據）。

使用建構使用者介面 流光溢彩 並在 Twitter 上分享。

部署模型

將模型投入生產。追蹤您的實驗。學習監控模型。親身體驗數據和模型漂移。

探索這些寶貴的資源

• 用機器學習製造
• DataTalksClub/mlops-zoomcamp：免費 MLOps 課程
• Chiphuyen/機器學習系統設計
• 顯然 AI — ML 系統設計：300 個案例研究
• stas00/ml-engineering：機器學習工程線上書籍

其他資源

• 使用 PyTorch 和 Scikit-Learn 進行機器學習 (原始碼)
• [1811.12808]機器學習中的模型評估、模型選擇與演算法選擇
• 機器學習入門訪談書籍·MLIB

深度學習

對於那些對自上而下方法感興趣的人，請從 fast.ai 開始。

快速人工智慧

• 快.ai（第1部分, 第2部分) + W&B研究小組

如果您喜歡 fast.ai，請探索 全端深度學習.

對於更深入和傳統的課程，請考慮查看 UNIGE 14×050 — 深度學習 經過 弗朗索瓦·弗勒雷.

如果您稍後需要深入研究理論，這些都是極好的資源。

• 深入學習深度學習 （包含 PyTorch、NumPy/MXNet、JAX 和 TensorFlow 中的程式碼範例）
• 深度學習 作者：伊恩·古德費洛、約書亞·本吉奧和亞倫·庫維爾
• 神經網路和深度學習
• 了解深度學習 （有實用的 筆記本)

讀 深度學習小書 在您的手機上，而不是滾動瀏覽 Twitter。

在您的神經網路不斷進步的同時閱讀這些內容。

• 訓練神經網路的秘訣
• 深度神經網路：33 年前和 33 年後

參加更多比賽

• PlantTraits2024 — FGVC11 |卡格爾 （電腦視覺）

實施研究論文

探索 labml.ai 帶註釋的 PyTorch 論文實現

有程式碼的論文是寶貴的資源；查看 BERT 解釋 在他們的平台上。

以下是深度學習特定領域的一些參考資料

電腦視覺

很多人建議 CS231n：電腦視覺深度學習 課程。雖然要求很高，但只要你堅持下去，就會有回報。

強化學習

對於強化學習愛好者來說，這些資源非常好：

• 深度強化學習中的旋轉 通過OpenAI
• 🤗 深度強化學習課程－抱臉

自然語言處理

史丹佛大學的另一門傑出課程， CS 224N |深度學習自然語言處理

熟悉擁抱臉： 抱臉NLP課程

探索這個 Super Duper NLP 倉庫

內容豐富的文章和細分

• BERT 研究 — Ep. 1 — 關鍵概念與來源 · 克里斯‧麥考密克
• 插圖 Word2vec — Jay Alammar
• 插圖 BERT、ELMo 等。 （NLP 如何破解遷移學習
• 了解 LSTM 網路 — colah 的博客
• 從頭開始的 PyTorch RNN — Jake Tae

其他資源

• 使用 Transformers 進行自然語言處理圖書

大型語言模型

首先觀看[1 小時演講] 大型語言模型簡介 由安德烈.

然後查看 五個公式的大型語言模型， 經過 Alexander Rush — 康乃爾科技

觀看神經網路：從零到英雄

它從頭開始闡明和編碼反向傳播，最終從頭開始開發 GPT。

神經網路：從零到英雄作者：Andrej Karpathy

安德烈最近分享了一個新影片 → 讓我們建立 GPT Tokenizer

您可能還想探索 60 行 NumPy 中的 GPT |傑·莫迪 在此過程中。

免費LLM訓練營

免費的 法學碩士訓練營 由全端深度學習發布。

該訓練營涵蓋即時工程、LLMOps、LLM 的用戶體驗以及在一小時內啟動 LLM 應用程式的指導。

完成本次訓練營並渴望建造後，

與法學碩士一起發展

有興趣利用法學碩士創建應用程式嗎？

手錶 使用大型語言模型進行應用程式開發
作者：吳恩達

讀 建構用於生產的法學碩士應用程序 透過 Huyen Chip

也 建構基於 LLM 的系統和產品的模式 作者：尤金·嚴

諮詢 OpenAI食譜 以獲得實用指南。

利用 Vercel AI 模板 啟動您的專案。

參加黑客松

實驗室人工智慧 每週舉辦新的 AI 黑客松。 請隨時聯繫我們 如果你有興趣組隊的話！

如果您想更深入地研究理論方面並掌握一切的功能：

閱讀論文

一篇出色的文章 塞巴斯蒂安·拉斯卡 在 理解大型語言模型，呈現您必須仔細閱讀的論文彙編。

在最近的一份出版物中，他還分享了另一篇文章 2024 年 1 月供您考慮的論文，專注於米斯特拉爾模型。

探索他的子堆疊 領先AI.

從頭開始創建變壓器。

仔細閱讀 變形金剛家族2.0版|莉爾洛格 進行簡潔的總結。

選擇首選格式並從一開始就確定它。

文件

• 您所需要的就是關注
• 圖解變壓器
• 附註解的變壓器 由哈佛
• 像變壓器一樣思考

文章

• 從頭開始創建 Transformer — 第一部分：注意力機制 (第2部分) (程式碼)
• 從頭開始理解和編碼大型語言模型的自註意力機制 經過 塞巴斯蒂安·拉斯卡博士
• 從零開始的變形金剛

視覺效果

• 在 PyTorch 上從頭開始編寫 Transformer 程式碼，並提供完整的解釋、訓練和推理
• NLP：從頭開始實施 BERT 和 Transformers

您現在已經準備好從頭開始建造變壓器了。儘管如此，還有更多的事情等著我們。

看看這些 史丹佛 CS25 — 變形金剛聯合 影片.

富有洞察力的部落格文章

• 梯度下降到瘋狂——從頭開始建立法學碩士
• 變形金剛插圖 — Jay Alammar
• 關於注意力和變壓器的一些直覺 作者：尤金·嚴
• 加速GPT——KV緩存|成為無與倫比的
• 超越自我注意力：小型語言模型如何預測下一個標記
• Llama 從頭開始（或如何不哭地實現一篇論文）|布萊恩·北野
• 改進 LoRA：從頭開始實現權重分解低秩適應 (DoRA)

看法 奧馬爾·賈米爾

他提供了有關論文的詳細視訊見解，包括隨附的程式碼演示。

• LoRA：大型語言模型的低階適應 - 直觀解釋 + 從頭開始的 PyTorch 代碼
• Mistral / Mixtral 解釋：滑動視窗注意力、專家稀疏混合、滾動緩衝區
• Attention is all you need (Transformer) — 模型解釋（包括數學）、推理和訓練
• LLaMA 解釋：KV-Cache、旋轉位置嵌入、RMS Norm、分組查詢注意力、SwiGLU
• 檢索增強生成 (RAG) 解釋：嵌入、句子 BERT、向量資料庫 (HNSW)

以下是與法學碩士相關的其他資源，但並非詳盡無遺。請參閱 法學碩士課程大綱 了解法學碩士的詳細概述。

掌握開源模型的執行。

利用 ollama：在本地啟動並運行 Llama 2、Mistral 和其他大型語言模型

Python 和 JavaScript 函式庫最近推出 這裡

參與即時工程

諮詢 及時工程|莉爾洛格

ChatGPT 為開發人員提供快速工程設計 作者：Ise Fulford (OpenAI) 和 Andrew Ng

深入研究其他 簡短的 DeepLearning.ai 免費提供課程。

透過微調提高法學碩士

請參閱 擁抱臉部微調指南.

有用的指導： 微調 — GenAI 指南

發現 蠑螈.

受益於這篇內容豐富的文章： 使用直接偏好最佳化微調 Mistral-7b 模型 |作者：馬克西姆‧拉博納

抹布

Anyscale 的傑出作品： 建立基於 RAG 的 LLM 生產應用程式

深入分析 檢索增強生成 經過 阿曼達

AI 教育資源

• 批次|深度學習.AI | AI 新聞與見解
• 深度學習周刊
• 互連 |內森·蘭伯特
• AI 花絮 |薩哈·莫爾

其他可供探索的課程/列表

雖然我的清單並不詳盡，但如果您需要更多資源，這裡有一些建議。

• openai/syllabus.md
• 佳能AI安德森霍洛維茨
• AI 學習管理 — LLM Utils
• AI 多元宇宙的門檻 |開放深度學習
• louisfb01/start-llms：2023 年開始並提升 LLM 技能的完整指南

我相信這對您的 AI 探險有所幫助！