近期大模型非常火，相关的资料、学习培训铺天盖地。里面无疑存在大量垃圾信息。尤其是专心搞技术和学术的同学，是非常不健康，浪费大量时间，最可怕的是离真相越来越远，永远称为麻瓜。本文的初衷就是给大家一个学习材料汇总。 后面随着笔者的进步，也会推出AI真相系列对LLM的理解和研究进展。

目标

大模型生态复杂，有工业界用户、个人企业用户，也有构建者。在构建者中也分三六九等。麻瓜也有追求，我们的目标是成为未来技术金字塔顶尖人物，领域的巨人，而不是仅仅作为抄袭者、使用者和跟随者。然而国内领域内充斥着谎言、吹嘘，与国外的开放、科学的学术、研究氛围背道而驰。这对我们发展是及其不利的，我们已经落后了，并且会越拉越远。接受现实，认清本质，是我们重新出发的底气。追求本质、追求底层逻辑，也追求代码实现。让我们开启奇妙的AI大语言模型之旅吧！

学习之道-认知与方法（MindSet）

• 站在巨人的肩膀上(精英思维，向大师看齐)：大模型最先进的显然在美国、在硅谷。主要工业巨人有Google、OpenAI、Meta、Huggingface、Tesla， 学术界巨人主要包括Stanford、MIT、CMU、哈弗。我们必须聆听大师的教诲，学习他们的思想和实践。如果你打篮球，必须学乔丹，如果你学AI，必须学OpenAI。而不是只靠聪明、努力就能达到的。这需要认知，需要智慧。不需要妄自尊大，要对专业怀有敬畏，对人家的努力和创新和开放保有敬意。本文本身就参考了国际最顶尖的学术届和工业界研究成果。 并围绕AI生态框架组织起来。
• 快速启动，逐层深入：AI发展太快了，时不我待；现在AI的创新也是典型的脚比脑子快的策略。因此学习AI也要足够快，但注意第二个，也要对基础理论非常重视，我建议既要快速跑起来，接受不理解的不适，又要投入重要时间做基础研究，看paper，扒代码。如何做到平衡？可以用总分总的策略，一层层揭开llm的神秘面纱。
• Learning by playing 尽早（参与kaggle竞赛，参与huggingface模型训练，源代码跑起来）：一定要跑起来，搭起环境，在playground上玩儿起来，好在现在的学术、学习氛围非常友好、开放，有大量的开源和共享的资源。我们也会给出一些不同纬度的环境、包括数据、环境、代码和模型以及服务等方面。所以第一天，你需要快速理解模型的工具使用，非常简单。 我建议先从colab开始。python，ubuntu， pytorch, huggingface。 后面有专门的工具篇。
• 形成框架：AI领域知识浩如烟海。为了不被淹死，首先一定要有目的性。我们首先要将形成一个LLM的整体框架，有一个全貌。后面我会先从llm生命周期，以及物理架构层面，构建出一个大模型AI的全景图。将技术栈进行拆分。然后对每一个模块block进行补齐。整体框架围绕Transformer、神经网络、NLP语言模型、Prompt Engineering、模型训练、AI应用几大模块；另外Python、Huggingface、数据科学、机器学习作为基础技能进行长期补充。
• The Internals抓住本质：繁荣、混乱背后，却有其客观规律。AI的本质是什么？ 什么是大模型？大模型的能力有哪些？有哪些缺陷？这些能力、算法背后是什么？每一次新的变革解决了什么问题？创新的套路是什么？我们在学习大量的文章、视频、代码应用基础上，不断进行总结、抽象。同时参考大师的观念、思想和作品。研究失败的案例。我会专门推出AI Internals 系列专题，大胆预测，小心求证。这部分我将在AI Internals 里面进行探索。
• Be passionate最后，也是最重要的就是热情和信念。虽然后知后觉，虽然背景稀碎。但能生在这个时代，可以探索人类认知、技术创新的划时代，指数级变迁。我们是生命比前辈要也会迸发出指数级的意义。作为见证者，我们不应该只作为一个看客，我们需要作为实际的推动者。中国人也应该成为这个时代的主导者。 其次，只要抓住创新的本质、了解头号玩儿家的套路，抱着开放共赢的格局，我们和Yann Lecun，和ilia 和Google，OpenAI，并没有生理上的壁垒。壁垒在人心，只要用保证正确的方向，持续努力，一定是可以使命必达。当然差距是客观存在的，保证科学、智慧的方法，利用群体的力量。对技术的敬畏是必须的。我们就是要探索这个艰难之路。
• Break your limit克服障碍、突破局限：如此密集的技术创新，对于每个人都是极具挑战的。我们从菜鸟开始，什么都不会，不仅要求助于导师、书籍，还要依赖网络、ChatGPT, Google. 然而随着不断的遇到、解决一个个问题完成个一个个任务，知识和技能将不会成为限制我们探索AI世界的障碍。我们将逐步脱离这些限制，包括知识、概念层面的，也包含理解，技能方面的。这部分我会作为技能进行构建包括：Python，pytorch, NN, 数学方面的如线性代数，微积分、统计学、当然还有NLP， Trancformer, GPT,等等。逐步，我们将具备AI大师的技能，思想
• 优化思维：有没有更好的？不断带有优化，寻找更好的方法的思想，而不是一味的跟随，优化思维，贯穿AI发展史，如每一次技术革命，每一个新的Idea，都会推翻之前的SOTA。不管是什么任务。
• 元学习：这是一场学习的革命，在学习的过程中不断优化、革新学习方法、学习手段，包括利用AI优化AI，元学习，将让AI和我们不断突破旧有模式，成为全新的，不受之前数据、环境限制的学习创新。比如AlfaGo 需要看大量的棋谱，AlfaZero 不需要棋谱，可以自己构建棋谱，自监督学习也是针对原有的监督学习的革命，解决了标注数据的限制。
• 学会类比，对比：将大模型和人类进行对比，将机器学习与人类学习和训练类比，将AI和程序对比。非常有利于理解，同时为创新埋下种子。

大模型框架

大模型生命周期与框架。类似框架有很多，我先写几个，后面再迭代