那么，您的目标是深入研究 AI？但您不确定如何或从哪里开始？

2020 年，我分享了一份 网上提供的 20 门免费数据科学、机器学习和 AI MOOC 课程。然而，我逐渐意识到，选修多门课程并不是最有效的方法。

为了摆脱无休止的教程循环并真正获得专业知识，您需要参与实际应用，从头开始开发算法，实施研究论文，并开展引人入胜的 AI 项目来解决现实问题。

这件作品试图创造一个 免费 符合这一理念的课程。我正在积极学习其中一些课程，因此欢迎 保持联系 在 推特 或者 领英 如果你想和我一起学习！

此外，如果您发现任何遗漏，请发表评论！

在深入探讨具体细节之前，我们需要考虑一些有关课程的见解和一些有关学习过程的指导。

从上至下

本课程采用自上而下的方法—— 最初侧重于编码，后来侧重于理论.

我更喜欢 出于需要而学习每当有一个问题需要解决、一个解决方案需要设计、或者一个原型需要构建时，我都会广泛地搜索必要的信息，理解它，然后采取行动。

例如，我的志向是发展成为一个 AI工程师 精通基础的 LLM。这需要能够从头开始编写转换器并在 GPU 上微调 LLM。目前，由于知识方面的差距，我缺乏这方面的熟练程度，我决心弥补这一差距。

本课程主要侧重于 NLP；如果你对其他 AI 专业感兴趣，如计算机视觉或强化学习，请在下面发表评论或直接给我留言 推特 或者 领英。我会给你提供一些推荐的资源。

在向你推送大量链接之前，我希望有人能强调一下 两个关键方面 在踏上学习之旅之前我应该意识到这一点。

在公共领域进行教育

知识领域广阔，持续学习至关重要，特别是在 AI 领域，每周都会出现突破性的研究和概念。

一个人可能犯下的最严重错误就是将学习限制在私人领域。这样做会限制成长的机会。仅仅完成任务是没有意义的。更有价值的是你如何吸收信息，将其转化为知识进行传播，并基于这些知识构思创新的解决方案和想法。

因此，至关重要的是 在公共场所进行教育.

这可能涉及：

• 起草博客和教程
• 参加黑客马拉松并与同行合作
• 在 Discord 社区中提问和解答疑问
• 开展个人感兴趣的项目
• 在 Twitter 上分享新发现

此外，谈到 Twitter，

使用 Twitter 作为工具

如果有效使用并符合正确的个人要求，Twitter 已被证明是当代最有价值的社交平台。

关注谁? 查看此精选 AI 列表（由 Suhail 提供）.

利用 Twitter? 请参阅 Near 的指南 有效的 Twitter 实践.

在 Twitter 上联系个人。要真诚、简洁，并清楚地表达您的要求。本指南 制作冷电子邮件 Sriram Krishnan 所著的文章也适用于直接消息。

推文构成？ 參閱 推文的要素 经过 杰森，开发商 讲师，她在几个月内就积累了 1.4 万名粉丝。

如果你正在阅读这篇文章，请 在推特上关注我!

联络我 关于你正在进行的项目！有趣的合作总是激起我的兴趣。

现在让我们深入探讨一下细节。

内容概述

• 数学基础
• 推荐工具
  ∘ Python
  ∘ PyTorch
• 机器学习
  ∘ 从头开始创建算法
  ∘ 参加比赛
  ∘ 执行附带项目
  ∘ 项目部署
  ∘ 补充材料
• 深度学习
  ∘ Fast.ai
  ∘ 参与更多比赛
  ∘ 研究论文的实施
  ∘ 探索计算机视觉
  ∘ 深入研究 NLP
• 大型语言模型
  ∘ 观察神经网络：从零到英雄
  ∘ 参加免费法学硕士训练营
  ∘ 使用法学硕士 (LLM) 创建项目
  ∘ 参与黑客马拉松
  ∘ 探索研究论文
  ∘ 从头开始开发 Transformer
  ∘ 推荐博客阅读
  ∘ 查看 Umar Jamil 的作品
  ∘ 学习操作开源模型
  ∘ 及时工程技术
  ∘ 微调法学硕士
  ∘ 关于 RAG 的研究
• 保持更新
• 备选课程及参考清单

数学基础

達爾·E

机器学习很大程度上依赖于三大核心数学支柱：线性代数、微积分以及概率和统计。每个元素在促进算法的最佳性能方面都发挥着至关重要的作用。

• 线性代数： 作为数据管理和操作的数学框架，矩阵和向量是算法解释和信息处理的主要媒介
• 结石： 作为机器学习优化的驱动力，使算法能够通过理解梯度和速率变化来学习和改进
• 概率与统计： 提供不确定性决策的基本原则，使算法能够通过概率和方差模型预测结果并从数据中学习

可以从开发人员的角度探索有关机器学习数学的精彩系列 这里 通过权重和偏差。

源代码)

如果您更喜欢以代码为中心的线性代数方法，请探索 计算线性代数 (视频系列, 源代码) 由 fast.ai 的开发人员分享。

跟随 使用 Python 进行机器学习的线性代数简介 与课程同时进行。

如果您希望采用更传统的方法，请查看 伦敦帝国理工学院讲座 — 线性代数 & 多元微积分.

查看 3Blue1Brown 的 线性代数的本质 和 微积分的本质.

观察 统计基础知识 由 StatQuest 提供统计数据

其他资源

• 书： 机器学习数学
• 纸： 深度学习所需的矩阵微积分

资源

達爾·E

Python

初学者可以从这里开始： 实用 Python 编程.

如果你已经熟练掌握 Python，请考虑 高级 Python 精通

这两门课程都是 Python Cookbook 创建者 David Beazley 的精彩课程。

接下来，深入研究 詹姆斯·鲍威尔 演讲

探索 Python 设计模式.

其他资源

• 书： 流利的 Python，第二版 (源代码)
• 播客： 真正的 Python & 谈谈 Python

PyTorch

手表 PyTorch 教程 经过 阿拉丁·佩尔松

PyTorch 网站提供了有价值的内容。

• PyTorch 示例
• 官方 PyTorch 教程
• 常见问题解答页面

用一些谜题挑战自己

• srush/Tensor-Puzzles：解决难题。增强你的 PyTorch 技能

其他资源

• 书： 为深度学习编写 PyTorch 程序

机器学习

達爾·E

请参阅 100 页 ML 书。

从头开始开发

在学习的时候，从头开始实现算法。

查看下面列出的存储库

• eriklindernoren/ML-From-Scratch
• JeremyNixon/甲骨文
• trekhleb/自制机器学习

对于具有挑战性的任务，请按照本课程从头开始构建 PyTorch。

• MiniTorch：机器学习工程 DIY 课程 (视频系列, 源代码)

参加比赛

在竞争场景中运用你的知识。

• 在以下平台上参加机器学习竞赛 比特格里特 和 卡格勒；更多内容请见 本文.
• 审查 先前获胜的解决方案 并对其进行分析

参与业余项目

探索 将机器学习引入生产 作者 Vicki Boykis

她还记录了自己建造 维伯瑞，一个语义图书搜索引擎。

获取数据集并开发模型（例如，利用 地球通道 用于 NASA 地球数据）。

使用以下方式构建用户界面 流光 并在 Twitter 上分享。

部署模型

将模型投入生产。跟踪您的实验。学习监控模型。亲身体验数据和模型漂移。

探索这些宝贵的资源

• 使用机器学习制作
• DataTalksClub/mlops-zoomcamp：免费 MLOps 课程
• chiphuyen/机器学习系统设计
• 显然 AI — ML 系统设计：300 个案例研究
• stas00/ml-engineering：机器学习工程在线书籍

其他资源

• 使用 PyTorch 和 Scikit-Learn 进行机器学习 (源代码)
• [1811.12808] 机器学习中的模型评估、模型选择和算法选择
• 机器学习入门面试书·MLIB

深度学习

对于那些对自上而下的方法感兴趣的人，可以从 fast.ai 开始。

Fast.ai

• fast.ai（第1部分, 第2部分) + W&B 学习小组

如果你喜欢 fast.ai，探索 全栈深度学习.

如需更深入、更传统的课程，请考虑查看 UNIGE 14×050 — 深度学习 经过 弗朗索瓦·弗勒雷.

如果您以后需要深入研究理论，这些都是极好的资源。

• 深入学习深度学习 （包含 PyTorch、NumPy/MXNet、JAX 和 TensorFlow 中的代码示例）
• 深度学习 作者：Ian Goodfellow、Yoshua Bengio 和 Aaron Courville
• 神经网络和深度学习
• 理解深度学习 （具有实际 笔记本)

读 深度学习小册子 而不是滚动浏览 Twitter。

在你的神经网络不断进步时阅读这些内容。

• 训练神经网络的秘诀
• 深度神经网络：33 年前和 33 年后

参加更多比赛

• 植物特性2024 — FGVC11 |卡格勒 （计算机视觉）

实施研究论文

探索 labml.ai 带注释的 PyTorch 论文实现

论文与代码是宝贵的资源；请查看 BERT 解释 在他们的平台上。

以下是深度学习特定领域的一些参考资料

计算机视觉

许多人建议 CS231n：计算机视觉深度学习 当然。这很艰难，但只要你坚持，就会有回报。

强化学习

对于 RL 爱好者来说，这些资源非常棒：

• 深度强化学习中的加速 作者：OpenAI
• 🤗 深度强化学习课程 - Hugging Face

自然语言处理

斯坦福大学另一门出色的课程， CS 224N | 基于深度学习的自然语言处理

熟悉 Hugging Face： 拥抱面孔 NLP 课程

探索 超级 NLP Repo

信息文章和细目分类

• BERT 研究 — 第 1 集 — 关键概念和来源 · Chris McCormick
• 图解 Word2vec — Jay Alammar
• 图解 BERT、ELMo 等（NLP 如何破解迁移学习
• 理解 LSTM 网络 — colah 的博客
• 从 Scratch 开始的 PyTorch RNN — Jake Tae

其他资源

• 使用 Transformer 进行自然语言处理

大型语言模型

从观看[开始1 小时演讲] 大型语言模型简介 作者：Andrej。

然后退房 五大公式中的大型语言模型， 经过 Alexander Rush——康奈尔科技

观看神经网络：从零到英雄

它从头开始阐明和编码反向传播开始，最终从头开始开发 GPT。

神经网络：从零到英雄（作者：Andrej Karpathy）

Andrej 最近分享了一段新视频 → 让我们构建 GPT Tokenizer

您可能还想探索 60 行 NumPy 代码实现 GPT | Jay Mody 在此过程中。

免费 LLM 训练营

免费 法学硕士训练营 由 Full Stack Deep Learning 发布。

这个训练营涵盖了快速工程、LLMOps、LLM 的用户体验、以及如何在一小时内启动 LLM 应用程序的指导。

完成训练营后，我渴望建造，

利用法学硕士进行开发

有兴趣使用法学硕士 (LLM) 创建应用程序吗？

手表 使用大型语言模型进行应用程序开发
作者：Andrew Ng

读 构建用于生产的 LLM 应用程序 作者 Huyen Chip

也 构建基于 LLM 的系统和产品的模式 作者 Eugene Yan

咨询 OpenAI 食谱 以获取实用指南。

利用 Vercel AI 模板 来启动你的项目。

参加黑客马拉松

lablab.ai 每周举办新鲜的 AI 黑客马拉松。 欢迎联系我们 如果您有兴趣合作！

如果您希望更深入地探究理论方面并掌握一切的运作方式：

阅读论文

一篇出色的文章 塞巴斯蒂安·拉斯卡 在 理解大型语言模型，呈现您必须阅读的论文汇编。

在最近的一篇文章中，他还分享了另一篇文章， 2024 年 1 月供您审议的论文，重点关注米斯特拉尔模型。

探索他的子堆栈 领先 AI.

从头开始创建变压器。

细读 Transformer 家族 2.0 版 | Lil'Log 以获得简洁的总结。

选择首选格式并从开始建立它。

文档

• 你只需要注意力
• 图解变压器
• 带注释的 Transformer 哈佛
• 像 Transformer 一样思考

文章

• 从头开始创建 Transformer — 第一部分：注意力机制 (第2部分) (代码)
• 从头理解和编码大型语言模型的自注意力机制 经过 Sebastian Raschka 博士
• 从零开始的 Transformer

视觉效果

• 在 PyTorch 上从头编写 Transformer，并提供完整的解释、训练和推理
• NLP：从头开始实现 BERT 和 Transformers

现在，您已经可以从头开始构建变压器了。不过，还有更多事情等着您。

查看这些 斯坦福 CS25 — 变形金刚联合 视频。

富有洞察力的博客文章

• 梯度下降到疯狂——从零开始攻读法学硕士学位
• 图解变压器 — Jay Alammar
• 关于注意力机制和 Transformer 的一些直觉 作者 Eugene Yan
• 加速 GPT — KV 缓存 | 成为不可战胜的
• 超越自我注意力：小型语言模型如何预测下一个标记
• 从零开始的骆驼（或者如何不哭就实现一篇论文）| Brian Kitano
• 改进 LoRA：从头开始实现权重分解低秩自适应 (DoRA)

看法 奥马尔·贾米尔

他提供了有关论文的详细视频见解，包括随附的代码演示。

• LoRA：大型语言模型的低秩适应——从头开始的视觉解释 + PyTorch 代码
• Mistral / Mixtral 解释：滑动窗口注意力、稀疏专家混合、滚动缓冲区
• 你所需要的就是注意力（Transformer）——模型解释（包括数学）、推理和训练
• LLaMA 解释：KV-Cache、旋转位置嵌入、RMS 范数、分组查询注意、SwiGLU
• 检索增强生成 (RAG) 解释：嵌入、句子 BERT、向量数据库 (HNSW)

以下是与 LLM 相关的其他资源，但并非详尽无遗。请参阅 法学硕士课程大纲 了解有关 LLM 的详细概述。

掌握开源模型的执行。

利用 ollama：在本地启动并运行 Llama 2、Mistral 和其他大型语言模型

Python 和 JavaScript 库最近发布 这里

参与及时工程

咨询 快速工程 | Lil'Log

ChatGPT 为开发人员提供快速工程 作者：Ise Fulford (OpenAI) 和 Andrew Ng

深入研究其他 简短的 DeepLearning.ai 提供免费课程。

通过微调增强法学硕士

请参阅 Hugging Face 微调指南.

实用指导： 微调 — GenAI 指南

发现 墨西哥钝口螈.

从这篇信息丰富的文章中受益： 使用直接偏好优化对 Mistral-7b 模型进行微调 | 作者：Maxime Labonne

抹布

Anyscale 的杰出作品： 构建基于 RAG 的 LLM 应用程序以供生产

深入分析 检索增强生成 经过 阿曼查达

AI 教育资源

• 批次 | DeepLearning.AI | AI 新闻与见解
• 深度学习周刊
• 互连 | Nathan Lambert
• AI 趣闻 | Sahar Mor

其他值得探索的课程/清单

虽然我的清单并不详尽，但如果您需要更多资源，这里有一些建议。

• openai/教学大纲.md
• AI 佳能 | Andreessen Horowitz
• AI 学习策划 — LLM Utils
• AI 多元宇宙的门槛 | 开放深度学习
• louisfb01/start-llms：2023 年开始和提高 LLM 技能的完整指南

我相信这会对您的 AI 探险有所帮助！