그렇다면 귀하의 목표는 AI 연구에 뛰어드는 것입니까? 하지만 어떻게, 어디서부터 시작해야 할지 확신이 없으신가요?
2020년에는 다음 목록을 공유했습니다. 온라인에서 이용 가능한 상위 20개 무료 데이터 과학, ML 및 AI MOOC. 그러나 나는 수많은 강좌에 등록하는 것이 가장 효과적인 접근 방식이 아니라는 것을 깨닫게 되었습니다.
끝없는 튜토리얼에서 벗어나 진정한 전문 지식을 얻으려면 실제 응용 프로그램에 참여하고, 처음부터 알고리즘을 개발하고, 연구 논문을 구현하고, 실제 문제를 해결하기 위한 매력적인 AI 프로젝트를 수행해야 합니다.
이 작품은 무료 이 이념에 부합하는 커리큘럼입니다. 나는 이 강좌 중 일부를 적극적으로 수강하고 있으므로 자유롭게 수강할 수 있습니다. 연락하다 ~에 트위터 또는 링크드인 저와 함께 배우고 싶다면!
또한, 누락된 부분이 있으면 댓글로 남겨주세요!
세부 사항을 살펴보기 전에 커리큘럼과 학습 과정에 대한 몇 가지 지침에 관해 고려해야 할 특정 통찰력이 있습니다.
하향식부터 시작하기
이 커리큘럼은 하향식 방법론을 채택합니다. 처음에는 코딩에 중점을 두고 나중에 이론을 다룹니다..
나는 선호한다 부득이하게 배우는 것. 해결해야 할 문제, 고안해야 할 해결책, 프로토타입을 구축해야 할 때마다 나는 필수 정보를 광범위하게 검색하고 이해하고 그에 따라 조치를 취합니다.
예를 들어, 나의 야망은 다음과 같은 사람으로 진화하는 것입니다. AI 엔지니어 기초 수준의 LLM에 정통합니다. 여기에는 변환기를 처음부터 코딩하고 GPU에서 LLM을 미세 조정하는 기능이 수반됩니다. 현재 저는 지식의 격차로 인해 이러한 능력이 부족합니다. 이를 메우기로 결심했습니다.
이 커리큘럼은 주로 NLP에 중점을 두고 있습니다. 컴퓨터 비전이나 강화 학습과 같은 다른 AI 전문 분야에 관심이 있다면 아래에 댓글을 남기거나 저에게 직접 메시지를 보내주세요. 트위터 또는 링크드인. 몇 가지 추천 자료를 알려드리겠습니다.
수많은 링크로 당신을 덮치기 전에 누군가가 강조했으면 좋았을 텐데요. 두 가지 중요한 측면 학습 여정을 시작하기 전에 알고 있었어야 했습니다.
공개 도메인에서의 교육
지식의 영역은 방대하고 지속적인 학습이 필수적입니다. 특히 매주 획기적인 연구와 개념이 등장하는 AI 분야에서는 더욱 그렇습니다.
사람이 저지를 수 있는 가장 심각한 실수는 학습을 사적인 영역에만 국한시키는 것입니다. 그렇게 하면 성장 기회가 제한됩니다. 단순히 작업을 완료하는 것만으로는 의미가 없습니다. 더 큰 가치를 지닌 것은 정보를 어떻게 흡수하고, 이를 전파를 위한 지식으로 변환하고, 그 지식을 바탕으로 혁신적인 솔루션과 아이디어를 구상하는가입니다.
따라서 다음이 중요합니다. 공공장소에서 교육하다.
이는 다음을 수반할 수 있습니다:
- 블로그 및 튜토리얼 초안 작성
- 해커톤에 참여하고 동료들과 협력
- Discord 커뮤니티에서 질문하고 해결하기
- 개인적인 관심 프로젝트 시작하기
- 새로 발견한 발견을 트위터에 공유하기
게다가 트위터의 경우,
트위터를 도구로 활용
트위터는 올바른 개인에 따라 효과적으로 사용될 때 현대에 가장 가치 있는 소셜 플랫폼임이 입증됩니다.
누구를 따라갈 것인가? 선별된 내용을 확인해 보세요. Suhail의 AI 목록.
트위터 활용? Near의 가이드를 참조하세요. 효과적인 트위터 관행.
트위터를 통해 개인에게 다가가세요. 진실하고 간결하며 요구사항을 명확하게 표현하세요. 이 가이드는 콜드 이메일 작성 by Sriram Krishnan은 직접 메시지에도 적용됩니다.
트윗 구성? 인용하다 트윗의 요소 ~에 의해 제이슨, 개발자 강사, 몇 달 만에 14,000명의 팔로워를 모았습니다.
이 글을 정독하고 있다면, 트위터에서 나를 팔로우하세요!
저에게 연락하세요 진행중인 프로젝트에 관해! 흥미로운 노력에 대한 협업은 항상 나의 관심을 불러일으킵니다.
이제 세부 사항을 살펴 보겠습니다.
목차개요
- 수학적 기초
- 권장 도구
ㅇ 파이썬
ㅇ 파이토치 - 기계 학습
ㅇ 처음부터 알고리즘 만들기
ㅇ 대회 참가
ㅇ 사이드 프로젝트 실행
ㅇ 프로젝트 배포
ㅇ 보충자료 - 딥러닝
ㅇ Fast.ai
ㅇ 더 많은 대회에 참여
ㅇ 연구 논문의 구현
ㅇ 컴퓨터 비전 탐구
ㅇ NLP에 뛰어들기 - 대규모 언어 모델
ㅇ 신경망 보기: Zero to Hero
ㅇ 무료 LLM 부트 캠프 참여
ㅇ LLM으로 프로젝트 만들기
ㅇ 해커톤 참여
ㅇ 연구 논문 탐색
ㅇ 처음부터 Transformer 개발
ㅇ 추천 블로그 읽기
ㅇ Umar Jamil의 작품 보기
ㅇ 오픈 소스 모델 운영 방법 학습
ㅇ 신속한 엔지니어링 기술
ㅇ LLM 미세 조정
ㅇ RAG에 관한 연구 - 계속 업데이트
- 대체 커리큘럼 및 참고 목록
수학 기초
DALL·E
기계 학습은 선형 대수학, 미적분학, 확률 및 통계라는 세 가지 핵심 수학 기둥에 크게 의존합니다. 이러한 각 요소는 알고리즘의 최적 성능을 촉진하는 데 필수적인 역할을 합니다.
- 선형대수학: 알고리즘 해석 및 정보 처리를 위한 기본 매체 역할을 하는 행렬과 벡터를 사용하여 데이터 관리 및 조작을 위한 수학적 프레임워크 역할을 합니다.
- 계산법: 기계 학습 최적화의 원동력 역할을 하며 알고리즘이 기울기와 속도 변화를 이해하여 학습하고 개선할 수 있도록 합니다.
- 확률과 통계: 불확실성 속에서 의사결정을 위한 기본 원칙을 제공하여 알고리즘이 결과를 예측하고 확률 및 분산 모델을 통해 데이터로부터 학습할 수 있도록 합니다.
개발자의 관점에서 기계 학습을 위한 수학에 관한 경이로운 시리즈를 탐색할 수 있습니다. 여기 가중치 및 편향 기준.
선형 대수학에 대한 코드 중심 접근 방식을 선호한다면 다음을 살펴보세요. 전산 선형 대수학 (비디오 시리즈, 소스 코드) fast.ai 개발자가 공유했습니다.
따르다 Python을 이용한 응용 기계 학습을 위한 선형 대수학 소개 코스와 병행하여.
보다 일반적인 접근 방식을 원한다면 다음을 확인하세요. 임페리얼 칼리지 런던에서 강의 — 선형대수학 & 다변량 미적분학.
3Blue1Brown's 보기 선형대수학의 본질 그리고 미적분학의 본질.
관찰하다 통계 기초 통계를 위한 StatQuest 제공
추가 리소스
- 책: 기계 학습을 위한 수학
- 종이: 딥러닝에 필요한 행렬 미적분학
자원
DALL·E
파이썬
초보자는 여기에서 시작할 수 있습니다: 실용적인 Python 프로그래밍.
이미 Python에 능숙하다면 다음을 고려해보세요. 고급 파이썬 숙달
둘 다 Python Cookbook의 창시자인 David Beazley의 뛰어난 강좌입니다.
다음으로 자세히 알아보기 제임스 파웰의 프레젠테이션
탐구하다 Python 디자인 패턴.
추가 리소스
- 책: 유창한 Python, 2판 (소스 코드)
- 팟캐스트: 실제 파이썬 & 파이썬 이야기
파이토치
보다 PyTorch 튜토리얼 ~에 의해 알라딘 페르손
PyTorch 웹사이트는 귀중한 콘텐츠를 제공합니다.
몇 가지 퍼즐에 도전해 보세요.
추가 리소스
기계 학습
DALL·E
다음을 참조하세요. 100페이지 ML 책.
처음부터 개발
공부하는 동안 알고리즘을 처음부터 구현해 보세요.
아래 나열된 저장소를 확인하세요.
어려운 작업의 경우 이 과정을 따라 처음부터 PyTorch를 구축해 보세요.
대회에 참가하세요
경쟁 시나리오에 지식을 적용하십시오.
사이드 프로젝트에 참여
탐구하다 프로덕션에 머신러닝 도입 작성자: 비키 보이키스
그녀는 또한 자신의 경험 구축을 문서화했습니다. 비베리, 의미론적 도서 검색 엔진입니다.
데이터 세트를 확보하고 모델을 개발합니다(예: 활용 지구 접근 NASA 지구 데이터용).
다음을 사용하여 사용자 인터페이스를 구성합니다. 유선형 그리고 트위터에 공유해보세요.
모델 배포
모델을 생산에 투입합니다. 실험을 추적하세요. 모델을 모니터링하는 방법을 알아보세요. 데이터와 모델 드리프트를 직접 경험해보세요.
이러한 귀중한 리소스를 살펴보세요
- ML로 제작
- DataTalksClub/mlops-zoomcamp: 무료 MLOps 과정
- Chiphuyen/머신러닝 시스템 설계
- 분명히 AI — ML 시스템 설계: 300개 사례 연구
- stas00/ml-engineering: 기계 학습 엔지니어링 온라인 도서
추가 리소스
- PyTorch와 Scikit-Learn을 사용한 머신러닝 (소스 코드)
- [1811.12808] 기계 학습의 모델 평가, 모델 선택 및 알고리즘 선택
- 머신러닝 인터뷰 소개 도서 ·MLIB
딥러닝
하향식 접근 방식에 관심이 있는 사람들은 fast.ai로 시작하세요.
Fast.ai
- fast.ai (1 부, 2 부) + W&B 스터디 그룹
fast.ai를 즐겨보셨다면 둘러보세요 풀스택 딥러닝.
보다 심층적이고 일반적인 과정을 보려면 다음을 확인해 보세요. UNIGE 14×050 — 딥러닝 ~에 의해 프랑수아 플뢰레.
나중에 이론을 탐구해야 할 경우 이 자료는 훌륭한 자료입니다.
- 딥 러닝에 대해 알아보세요 (PyTorch, NumPy/MXNet, JAX 및 TensorFlow의 코드 샘플 포함)
- 딥러닝 이안 굿펠로우, 요슈아 벤지오, 아론 쿠르빌 지음
- 신경망과 딥러닝
- 딥러닝 이해 (실용적으로 노트북)
읽다 딥러닝에 관한 작은 책 트위터를 스크롤하는 대신 모바일에서.
신경망이 진행되는 동안 이 글을 읽어보세요.
더 많은 대회에 참여하세요
- PlantTraits2024 — FGVC11 | 캐글 (컴퓨터 시각 인식)
연구 논문 구현
탐구하다 labml.ai 주석이 달린 PyTorch 종이 구현
코드가 포함된 문서는 귀중한 리소스 역할을 합니다. 확인해 보세요 BERT 설명 그들의 플랫폼에서.
다음은 딥러닝의 특정 영역에 대한 참고 자료입니다.
컴퓨터 시각 인식
많은 사람들이 다음을 제안합니다. CS231n: 컴퓨터 비전을 위한 딥 러닝 강의. 힘들지만 인내한다면 보람이 있습니다.
강화 학습
RL 매니아에게는 다음 리소스가 훌륭합니다.
- Deep RL에서 스핀업 by OpenAI
- 🤗 심층 강화 학습 과정 — 포옹 얼굴
NLP
또 다른 뛰어난 스탠포드 코스는 CS 224N | 딥러닝을 통한 자연어 처리
포옹 얼굴에 익숙해지기: 허깅 페이스 NLP 코스
이것을 탐험해보세요 슈퍼 듀퍼 NLP 레포
유익한 기사 및 분석
- BERT 연구 — Ep. 1 — 주요 개념 및 출처 · Chris McCormick
- 그림으로 표현된 Word2vec — Jay Alammar
- 그림 BERT, ELMo 및 공동. (NLP가 전이 학습을 깨뜨린 방법
- LSTM 네트워크 이해 — colah의 블로그
- 처음부터 PyTorch RNN — Jake Tae
추가 리소스
대규모 언어 모델
시청부터 시작하세요 [1시간 토크] 대규모 언어 모델 소개 안드레이.
그럼 확인해 보세요 다섯 가지 공식의 대규모 언어 모델, 에 의해 Alexander Rush — 코넬 테크
신경망 보기: Zero to Hero
역전파를 처음부터 설명하고 코딩하는 것으로 시작하여 처음부터 GPT를 개발하는 것으로 마무리됩니다.
신경망: Zero To Hero 저: Andrej Karpathy
Andrej는 최근 새 동영상을 공유했습니다 → GPT 토크나이저를 구축해 봅시다
탐색해 볼 수도 있습니다. NumPy 60줄의 GPT | 제이 모디 이 과정에서.
무료 LLM 부트 캠프
무료 LLM 부트캠프 풀스택 딥러닝에서 출시되었습니다.
이 부트 캠프에서는 프롬프트 엔지니어링, LLMOps, LLM용 UX, 1시간 이내에 LLM 앱 실행에 대한 지침을 다룹니다.
이 부트 캠프를 완료하고 빌드에 대한 열망을 느낀 후,
LLM으로 개발하기
LLM을 사용하여 응용 프로그램을 만드는 데 관심이 있으십니까?
보다 대규모 언어 모델을 사용한 애플리케이션 개발
앤드류 응
읽다 프로덕션용 LLM 애플리케이션 구축 작성자: Huyen Chip
게다가 LLM 기반 시스템 및 제품 구축을 위한 패턴 유진 얀
상담하세요 OpenAI 요리책 실용적인 가이드를 위해.
활용 Vercel AI 템플릿 프로젝트를 시작하세요.
해커톤에 참여하세요
lablab.ai 매주 새로운 AI 해커톤을 개최합니다. 편하게 연락주세요 팀 구성에 관심이 있다면!
이론적 측면을 더 깊이 탐구하고 모든 기능을 파악하려면 다음을 수행하십시오.
논문 읽기
예외적인 기사by 세바스티안 라슈카 ~에 대규모 언어 모델 이해, 꼭 읽어야 할 논문 모음을 제시합니다.
최근 간행물에서 그는 또한 다음과 같은 또 다른 기사를 공유했습니다. 2024년 1월에 고려할 서류, 미스트랄 모델에 중점을 둡니다.
그의 서브스택을 탐색해 보세요. AI보다 앞서.
처음부터 트랜스포머 만들기.
숙독하다 Transformer 제품군 버전 2.0 | 릴로그 간결한 요약을 위해.
원하는 형식을 선택하고 처음부터 설정하세요.
선적 서류 비치
조항
- 처음부터 변환기 만들기 - 1부: 어텐션 메커니즘 (2 부) (암호)
- 대규모 언어 모델의 Self-Attention 메커니즘을 처음부터 이해하고 코딩하기 ~에 의해 세바스티안 라슈카 박사
- 처음부터 트랜스포머
비주얼
이제 처음부터 변압기를 제작할 준비가 되었습니다. 그럼에도 불구하고 더 많은 것이 기다리고 있습니다.
보기 스탠포드 CS25 - 트랜스포머 유나이티드 비디오.
통찰력 있는 블로그 게시물
- 광기로의 경사하강법 — 처음부터 LLM 구축
- 일러스트레이티드 트랜스포머 - Jay Alammar
- 주의와 변환기에 대한 직관 유진 얀
- GPT 속도 향상 — KV 캐시 | 무적의 존재가 되다
- Self-Attention을 넘어: 소규모 언어 모델이 다음 토큰을 예측하는 방법
- 처음부터 라마(또는 울지 않고 종이를 구현하는 방법) | 브라이언 키타노
- LoRA 개선: DoRA(Weight-Decomposed Low-Rank Adaptation)를 처음부터 구현
우마르 자밀
보다그는 코드 데모를 포함하여 논문에 대한 자세한 비디오 통찰력을 제공합니다.
- LoRA: 대규모 언어 모델의 낮은 순위 적응 — 시각적으로 설명 + 처음부터 PyTorch 코드
- Mistral / Mixtral 설명: 슬라이딩 윈도우 어텐션, 전문가의 희박한 혼합, 롤링 버퍼
- 주의가 필요한 전부입니다(Transformer) — 모델 설명(수학 포함), 추론 및 훈련
- LLaMA 설명: KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLU
- 검색 증강 생성(RAG) 설명: 임베딩, 문장 BERT, 벡터 데이터베이스(HNSW)
다음은 결코 포괄적이지 않은 LLM과 관련된 추가 리소스입니다. 다음을 참조하세요. LLM 강의 계획서 LLM에 대한 자세한 개요를 확인하세요.
오픈 소스 모델 실행 마스터하기
활용 ollama: Llama 2, Mistral 및 기타 대규모 언어 모델을 로컬에서 시작 및 실행
Python 및 JavaScript 라이브러리가 최근 출시되었습니다. 여기
프롬프트 엔지니어링에 참여
ChatGPT 개발자를 위한 프롬프트 엔지니어링 작성자: Ise Fulford(OpenAI) 및 Andrew Ng
다른 것을 탐구하다 짧은 DeepLearning.ai에서 무료로 제공되는 강좌입니다.
미세 조정을 통한 LLM 강화
다음을 참조하세요. 허깅 페이스 미세 조정 가이드.
유용한 지침: 미세 조정 — GenAI 가이드북
발견하다 아홀로틀.
이 유익한 기사의 이점: Direct Preference Optimization을 사용하여 Mistral-7b 모델 미세 조정 | 막심 라본느
조각
Anyscale의 뛰어난 제품: 프로덕션을 위한 RAG 기반 LLM 애플리케이션 구축
AI 교육 리소스
탐색할 기타 커리큘럼/목록
내 목록이 완전하지는 않지만 더 많은 리소스를 원할 경우 여기에 몇 가지 제안 사항이 있습니다.
- openai/syllabus.md
- AI 캐논 | 안드레센 호로비츠
- AI 학습 큐레이션 — LLM Utils
- AI Multiverse에 대한 임계값 | 딥러닝 열기
- louisfb01/start-llms: 2023년에 LLM 기술을 시작하고 향상시키기 위한 완벽한 가이드
나는 이것이 당신의 AI 탐험에 도움이 될 것이라고 믿습니다!