北京
周三下午，一个在摩根大通做副总裁的工程师，把三行命令敲进了终端。没有申请API密钥，没有绑定信用卡，也没有把任何数据传到别人的服务器上。几分钟后，他的MacBook上跑起了一个能对话的模型。
这套流程的第一步是装工具：brew install ollama。第二步拉模型：ollama pull llama3.2。第三步启动服务：ollama serve。三步走完，一个他口中"GPT-4级别"的模型就在本地跑起来了——免费、私密、快。
他为什么要折腾这件事？因为他算了一笔账：云端AI的每一次token都要花钱，每一次API调用都在累加成本，而且你的数据最终都进了别人的服务器。这三个问题，本地部署一次性绕开。
调用方式也不复杂。一段Python代码就能接上本地服务：用requests向localhost:11434的生成接口发一个POST请求，带上模型名和问题，关掉流式输出，直接取返回的response字段。代码注释里写得很直白——立刻能用，不需要API密钥。他给的例子是让本地模型用一段话解释Docker，然后打印答案。
模型跑起来之后，能做的事不止聊天。他列了几类：给文档搭RAG系统、做离线可用的语音助手、在每次git提交时跑代码审查、零成本生成内容，以及一个"记得你"的个人AI。这些场景的共同点是——数据不出本机。
最有说服力的数字来自他自己的账本：用这套技术栈，他搭了45个工具。全部免费，全部本地，全部开源。代码放在GitHub上，仓库名是ai-tools。
一个在金融机构做副总裁的人，业余时间用开源模型和本地服务堆出45个工具，这件事本身就说明了一件事：本地AI的门槛，已经低到不需要等公司立项、不需要走采购流程、不需要说服任何人批预算。三行命令，一台笔记本，就够了。
至于那个"GPT-4级别"的说法，是他自己的描述。模型能力到底如何，跑起来试一句"Docker是什么"就知道了。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
