研究员|卢杨
DeepSeek最近动作有点多。
DeepSeek-V4-Pro正式版上线,同时发布开源的DeepSeek Harness(DSH,Developer Preview阶段),还一并调了API价格。
三件事叠加,引发一个核心问题:涨价、Harness发了、v4 pro正式版亮相之后,它到底能不能真正替人干活?
我们决定不看Benchmark,直接做一次实测:用Harness + DeepSeek V4 Pro做一个能运行的我司官网。
任务分两部分。一是资讯采集插件:从RSS抓取科技资讯,由V4 Pro做中文摘要、议题分类和重要度评分,保存结果;二是可用的网站:编辑后台审核资讯(通过/驳回),通过后发布到前台。
01 先做咨询采集插件
项目取名FourthWave News Collector。数据链路:RSS →过滤→去重→ DeepSeek V4 Pro →中文标题/摘要→议题分类→重要度评分→数据落盘→人工审核→官网发布。网站对应两个入口:编辑后台(/admin)和读者前台(/brief)。
我们没一次性写全所有需求,而是让Harness先检查项目和环境,根据运行结果持续修改。第一阶段,Harness创建了独立插件fourth-wave-plugin并安装到DSH的web profile。
首次真实运行:RSS抓取10条资讯,过滤剩9条,去重跳过1条,最终调用V4 Pro处理8条,全部失败——原因不明,因为缺少持久化运行日志。
让Harness检查代码和配置,定位到LLM调用部分:当时`maxTokens: 1000`,而使用V4 Pro + `reasoningEffort=high`,8次调用均以`llm finish=max-tokens`结束。问题不是模型不会处理,而是Token预算不足,高强度推理未完成就触发上限。
这暴露了典型工程问题:代码写出来和真正跑起来是两回事,真正测试刚刚开始。
我们让Harness不仅修改参数(调大maxTokens),还要求记录运行状态。插件增加`run-state.json`,记录fetched、filtered、candidates、llmAttempted、llmSucceeded等;同时改为每成功处理一条资讯立即写入`collected.json`。这样就算中途失败,之前成功的数据也不会丢失。
第二次运行结果倒是不同:8次调用全部成功,耗时约3分43秒,`collected.json`逐条写入(5→6→7→8→9)。
到这里,数据链路初步跑通,不过采集器还不是生产系统。
02 从插件延伸到完整网站
我们把官网项目交给Harness,要求接入资讯采集系统。Harness先做只读检查,再分阶段实施:
建立后台审核体系:增加`/admin`和`/admin/login`,管理员密码通过环境变量配置,不写死。后台显示AI采集的资讯(中文标题、摘要、topic、content_type、importance、reason、source_url、published_at),编辑可点“通过”或“驳回”。
我们进一步要求驳回时可填备注,Harness增加可选驳回备注字段,与审核状态一同写入`review.json`。
对接前台发布:原来“科技动态”页面是静态内容,让审核通过的资讯自动出现。Harness增加了发布逻辑:审核状态存于`review.json`,资讯内容存于`pending-news.json`,通过`source_url`关联,只有`approved`状态的资讯进入前台。
另外,采集器设计了7类议题,但官网一期只支持“AI模型、具身智能、脑机接口”,因此只发布能映射到现有Topic的已审核资讯,分类结果需被下游系统正确消费,这是典型集成问题。
我们实际测试:后台找到一条资讯,点击“通过”,刷新`/brief`页面,完整的资讯出现了,闭环跑通:从RSS抓取→V4 Pro处理→数据保存→人工审核→网站发布。
03 能运行,不等于能上线
我们又从真正上线角度检查了一遍,发现了一些问题:
前台:页面结构完整,但缺少品牌素材、正式内容、隐私政策、用户协议等法律文本。
后台:登录、审核、驳回备注可用,但若多人协作,需账号体系、权限管理和操作日志。
数据层:资讯和审核状态存于JSON文件,适合验证链路,但长期运行会面临可靠性、并发写入、查询、备份等挑战,数据库是最大短板。
采集任务:需要数据库、稳定定时任务、失败重试、监控和异常通知,当前仅能手工触发。
因此,本次测试证明的是“Harness + DeepSeek V4 Pro可以把网站和资讯处理系统做出来并跑通”,而非“AI已完成可直接上线的商业网站”。从“能运行”到“能上线”,中间还有大量工程工作。
04 Harness自我验收与成本
项目完成后,我们让Harness做只读验收:DSH插件正常、RSS采集正常、V4 Pro调用正常、去重正常、运行状态记录正常、后台登录正常、审核正常、驳回备注正常、前台/brief正常。这已不是聊天窗口里的Demo,而是可运行、可修改的项目文件。
成本方面,在未涨价前,整个实测仅花费5.91元:极低成本验证了完整链路。
![]()
过去我们常问“AI能不能写出这段代码?”,如今这个问题越来越容易回答。真正值得测试的是:给它一个目标,它能不能把系统真正跑起来?
本次测试中,部分操作我们明确要求,而是Harness为解决具体工程问题主动添加,这种能力比生成漂亮代码更值得关注,真实开发本也就是“写→跑→错→改→再跑→验证”的循环。
但这次我们还是全程扮演着产品经理+测试工程师+代码审查者的混合角色,不断告诉它做什么、不做什么、哪些数据不能覆盖、哪些页面不能动。AI可快速执行大量操作,但目标、边界、取舍和验收仍需人判断。
整体来说,Harness离“完全自主开发”还有距离……
编辑|邱慧 张猛
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.