← all posts← 所有文章 · home首页

No word ....无言……

I haven’t written here much lately, but Homie Lab hasn’t been quiet. A few things keep coming back to me.

Homie is part of our home now

Homie’s basic structure is in place. My favorite feature is the calendar and photo display that runs all day. We’ve taken years of family photos, and now we actually see them instead of leaving them on a hard drive.

The calendar keeps up with the kids’ swim meets and our family plans. Goal tracking helps me work on losing weight; food logging lets me watch calories and jot down notes. Homie even took a complete set of notes at Noah’s school curriculum night. My wife and kids use it to chat and talk things through, too.

I’m a little proud of this: I built something that, in some ways, takes better care of my family’s needs than ChatGPT does. Maybe they should hire me.

How far can a small model go?

I’ve spent the past few months tuning local models, search, runtimes, and scheduling. Homie uses open search tools and free quotas, with no paid search engine. It has learned when to search, how to use what it finds, and when to stop within its time and compute budget.

For everyday tasks, I trust it about 80 percent of the time. That feels good. I think I understand the approach now; the remaining 20 percent is mostly a matter of compute and scale. For complex work or long workflows, I still turn to larger models.

Coding agents keep changing

After Opus 5 and Fable disappointed me, I moved my main coding agent from Claude to ChatGPT. Migrating a few agent consoles took some work, but they’re now mostly independent of whichever agent runs underneath.

Then things changed again. The $200-a-month Pro plan feels tighter, while Opus 5.5 seems to have found its feet. I might switch back. Or maybe I don’t need one “main” coding agent at all.

I’d like to give hard problems to frontier models, simpler tasks to local ones, and try some Chinese coding agents as well. The agent itself is becoming a replaceable part.

Homie has also reached a frustrating stage. Almost every improvement I want now takes serious time, and no single coding model can do the work for me. Frontier models help, but they still let me down when a problem requires a lasting understanding of the whole system and difficult tradeoffs.

The next stretch feels like work for a chief engineer or a PhD researcher. Apparently, that person is me. The trouble is that I need several of me.

Where does the model belong?

Fine-tuning is fun. When I saw JEV, it felt familiar: I’ve been trying something related, teaching a model to return short, structured results instead of unnecessary prose. My RTX 6000 Pro has earned its keep there. I’ve also been playing with KEV, a fast LoRA based on Qwen.

But the question I keep returning to is simpler: which step actually needs a model?

Reading a calendar might take 10–20 milliseconds. Asking a 27B model whether it should read the calendar might take 5–10 seconds. On a machine at home, that difference matters. I want code to handle the certain steps, small models to handle small uncertainties, and large models to handle the decisions that really need them.

Every unnecessary inference uses time, memory, capacity for other requests, and electricity.

Then I wonder whether better models will take care of this themselves. Qwen3.8 on Spark has me watching how efficiently it produces very short answers compared with longer ones. Maybe MoE, better routing, and adaptive reasoning will eventually make some of my careful engineering obsolete. Maybe a few weekends of work will shrink to effort = adaptive.

I’d be fine with that. The implementation may age; what I learn building it probably won’t.

From words to the physical world

I’ve also been thinking about where AI goes after language. Models can already work with text, images, audio, and video. What interests me next is whether they can understand a place: where things are, how far apart they are, what stays put when you turn around, and what happens when things move.

AMD has agreed to acquire World Labs, founded by Fei-Fei Li. That makes spatial intelligence feel like a serious bet. It doesn’t prove that world models will replace language models, but my hunch feels a little less lonely.

For Homie, that future could be wonderfully ordinary. “Where are the kids’ shoes?” is a different question from “What’s on the calendar?” The first requires some understanding of our home, beyond understanding our words.

I’m excited to see where this goes. It’s also funny: after all the work I’ve put into teaching Homie when to search the web, I may have to teach it where we leave the keys.

The bill, and the bigger question

Running AI at home for four people isn’t cheap. My two Sparks cost about $8,000 when I bought them; the same pair now costs more than $14,000. Add the RTX 6000 Pro machine, a 9950X, 192 GB of ECC memory, storage, networking, and electricity, and I don’t really want to calculate what it would cost to buy everything again.

After buying all that hardware, calling local inference “free” sounds pretty funny.

At the grocery store yesterday, I watched people restock shelves, carry boxes, clean, and help customers find things. I found myself wondering: what can AI do for them?

The gains are easy for me to see. AI helps me code, research, write, debug, and plan. But a better language model won’t carry a box. Understanding space and motion may be a step forward; a useful robot will also need capable hands, reliability, and a reasonable price. I hope we get there.

Meanwhile, we’re putting enormous amounts of money, hardware, and energy into AI. In one way or another, we’re all paying for it. Will the returns be large enough? And will they reach people whose work happens away from a screen?

I don’t have a neat answer. Homie started as an AI project for my family. Now it’s part of our daily life, and a small experiment in models, systems, costs, and where intelligence belongs.

Still building. Still learning. Still arguing with myself.

For once, I’m short on words.


最近没怎么在这里写东西,但 Homie Lab 一直没闲着。有几件事,我反复在想。

Homie 真的在家里用起来了

Homie 的骨架已经基本搭好了。我最喜欢的功能,是全天候运行的日历和照片屏。我们拍了这么多年的照片,现在终于能常常看见,而不是让它们一直躺在硬盘里。

日历帮我们跟着孩子的游泳比赛和全家的活动走。目标记录帮我盯着减重,饮食记录让我留意食物的热量,也能顺手写下备注。Noah 学校的课程介绍之夜,Homie 还帮我完整记了下来。孩子和太太也会用它聊天、讨论事情。

我有点为自己骄傲:我亲手做出的东西,在某些方面比 ChatGPT 更能照顾到我们一家人的需要。说不定他们该雇我。

小模型能走多远?

这几个月,我一直在调本地模型、搜索、运行框架和调度方式。我用开放的搜索工具和免费额度,没有付费搜索引擎。现在 Homie 知道什么时候该搜、怎么用搜到的东西,也知道什么时候该在时间和算力预算内停下来。

日常任务里,大约八成时候我能放心交给它。这一点让我挺自豪。我觉得方法已经摸透了;剩下的两成,主要还是算力和规模的问题。遇到复杂的工作或较长的流程,我还是会找更大的模型。

编程智能体还在变

Opus 5 和 Fable 让我有些失望后,我把主要的编程智能体从 Claude 换到了 ChatGPT。迁移几个智能体控制台花了些工夫,不过现在它们基本不依赖背后是哪一个智能体了。

没过多久,情况又变了。每月 200 美元的 Pro 套餐感觉更紧了,Opus 5.5 却好像找回了状态。我可能会换回去。也可能根本不需要一个“主力”编程智能体。

我想把难题交给前沿模型,简单些的任务交给本地模型,也试试一些中国的编程智能体。智能体本身,越来越像一个可以替换的组件。

但 Homie 也到了一个让我有点沮丧的阶段。现在想改进的东西,几乎都要花大量时间;单靠任何一个编程模型,都没法替我解决。前沿模型很有用,可碰到需要长期理解整个系统、做艰难取舍的问题,它们还是让我失望。

接下来的工作,感觉需要一位首席工程师或博士级研究人员继续做。而那个人,好像就是我。问题是,我需要好几个我。

模型到底该放在哪?

微调很有意思。看到 JEV 出来时,我觉得有点熟悉:我也在做一个相关的尝试,让模型输出简短、有结构的结果,而不是一堆不必要的文字。我的 RTX 6000 Pro 在这件事上没白买。最近我还玩了 KEV,一个基于 Qwen 的快速 LoRA。

但我反复想的其实是个更简单的问题:哪一步真的需要模型?

读一次日历可能只要 10–20 毫秒。让一个 27B 模型决定要不要读,却可能花 5–10 秒。家里的算力有限,这个差别很大。我想把确定的步骤交给代码,小小的不确定交给小模型,真正需要判断的地方再用大模型。

每一次不必要的模型推理,都会占用时间、内存、并发容量和电力。

然后我又会想:更好的模型会不会自己就能处理这些事?Spark 上的 Qwen3.8 让我开始留意,它生成极短结果和较长结果时,效率有怎样的变化。也许 MoE、更好的路由和自适应推理,终有一天会让我的一些精心设计变得多余。也许几个周末的工程工作,最后只剩一句 effort = adaptive。

我倒也不介意。实现方式可能会过时,搭建过程中学到的东西大概不会。

从文字走向真实世界

我也在想,语言之后,AI 会走向哪里。模型已经能处理文字、图片、音频和视频。接下来让我好奇的是,它能不能理解一个地方:东西在哪里、彼此有多远、转身之后什么还在原处,以及东西动起来会发生什么。

AMD 已签约收购李飞飞创办的 World Labs。这让我觉得,空间智能正在成为一场认真的押注。它不能证明世界模型会取代语言模型,但我心里的这个猜想,好像没那么孤单了。

对 Homie 来说,这样的未来可能很家常。“孩子的鞋放哪儿了?”和“日历上有什么?”不是同一种问题。前者需要它对我们住的地方有点概念,而不只是听懂我们说的话。

我很期待接下来会怎样。也有点好笑:我花了这么多工夫教 Homie 什么时候上网搜索,以后也许还得教它我们把钥匙放哪儿了。

账单,还有更大的问题

为四个人在家里运行 AI,花销不小。两台 Spark 当初买下来大约 8,000 美元;现在同样两台要超过 14,000 美元。再算上 RTX 6000 Pro 主机、9950X、192 GB ECC 内存、存储、网络和电费,我已经不太想算重买一遍要多少钱了。

买完这些硬件,再说“免费的本地推理”,听着有点好笑。

昨天逛超市时,我看着有人补货、搬箱子、打扫、帮顾客找东西。我突然想:AI 到底能为他们做什么?

对我来说,效率的提升很容易看见。AI 能帮我编程、查资料、写作、调试和做计划。但更好的语言模型不会搬箱子。理解空间和运动也许能让 AI 向前走一步;真正好用的机器人还需要双手、可靠性,以及合理的成本。我希望我们能走到那一天。

与此同时,我们正把巨量的金钱、硬件和能源投入 AI。我们每个人都在以某种方式为它买单。这些投入带来的收益会足够大吗?收益又会不会到达那些工作不在屏幕前的人?

我没有一个漂亮的答案。Homie 起初只是一个给家人用的 AI 项目。现在它真的在陪我们过日子,也成了我研究模型、系统、成本,以及智能究竟该放在哪里的小实验。

还在搭。还在学。还在和自己争论。

一时无言……

最近没怎么在这里写东西,但 Homie Lab 一直没闲着。有几件事,我总会想起。

Homie 已经成了家里的一部分

Homie 的基本框架搭好了。我最喜欢的是全天开着的日历和照片屏。我们拍了这么多年的家庭照片,现在终于能经常看见它们,而不是让它们躺在硬盘里。

日历记着孩子们的游泳比赛和全家的安排。目标记录帮我坚持减重;饮食记录让我留意热量,顺手记下吃了什么。Noah 学校的课程说明会,Homie 还帮我记了完整的笔记。太太和孩子们也会找它聊天,借着聊聊把事情想清楚。

这件事让我有点得意:我做出的东西,在某些方面比 ChatGPT 更懂我们一家人的需要。说不定他们该雇我。

小模型能走多远?

过去几个月,我一直在调本地模型、搜索、运行环境和任务调度。Homie 用的是公开可用的搜索工具和免费额度,没有付费搜索引擎。它渐渐学会了什么时候该搜、怎么用搜到的东西,以及什么时候该在时间和算力预算内停下来。

日常任务里,我大约有八成时候能放心交给它。这感觉不错。我觉得路子已经摸清了;剩下的两成,主要还是算力和规模的问题。碰到复杂任务或很长的工作流程,我仍会用更大的模型。

编程智能体还在变

Opus 5 和 Fable 让我失望之后,我把主力编程智能体从 Claude 换到了 ChatGPT。迁移几个智能体控制台花了些工夫,好在如今它们基本不挑底下跑的是谁。

接着风向又变了。每月 200 美元的 Pro 套餐用起来越来越紧,Opus 5.5 倒像是找回了状态。我可能会换回去。也可能根本不需要一个固定的“主力”。

我想把难题交给前沿模型,简单任务交给本地模型,也试试中国的编程智能体。智能体本身,正变成一个可以随时替换的部件。

Homie 也到了一个让人有点挫败的阶段。现在每项我想做的改进,都得投入不少时间;没有哪个编程模型能独自替我完成。前沿模型帮得上忙,但遇到需要长期理解整个系统、做艰难取舍的问题,还是会掉链子。

接下来这段路,感觉需要一位首席工程师,或者一位博士研究员。看来那个人就是我。麻烦的是,我需要好几个我。

模型到底该用在哪一步?

微调很好玩。看到 JEV 时,我觉得很熟悉:我也在尝试类似的事,教模型返回简短、结构化的结果,省掉多余的长篇大论。我的 RTX 6000 Pro 在这件事上算是没白买。最近我还在玩 KEV,一个基于 Qwen 的快速 LoRA。

但我总会回到一个更简单的问题:哪一步真的需要模型?

读取日历可能只要 10–20 毫秒。先问一个 27B 模型该不该读日历,却可能花上 5–10 秒。在家里的机器上,这个差别很要紧。我希望确定的步骤由代码处理,小的不确定性交给小模型,真正需要判断时再请大模型出场。

每做一次多余的推理,就会多花时间、占用内存、挤掉处理其他请求的空间,还要耗电。

可我又会想:更好的模型会不会自己解决这些问题?Spark 上的 Qwen3.8 让我留意起它生成极短答案和较长答案时的效率差别。也许 MoE、更好的路由和自适应推理,终有一天会让我的一些精细设计显得多余。也许几个周末的工作,最后只需要一句 effort = adaptive。

我倒不介意。实现方式会过时,动手时学到的东西大概不会。

从文字走向真实世界

我也在想,语言之后,AI 会走向哪里。模型已经能处理文字、图片、音频和视频。接下来让我好奇的是,它能不能理解一个地方:东西在哪里、彼此隔多远、转过身后什么还在原处,以及东西动起来会发生什么。

AMD 已同意收购李飞飞创办的 World Labs。这让我觉得,空间智能已经是一场认真的押注。这不能证明世界模型会取代语言模型,但至少让我觉得自己的猜想没那么孤单。

对 Homie 来说,这样的未来可能非常家常。“孩子的鞋在哪儿?”和“日历上有什么?”是两种不同的问题。前一个问题,需要它了解我们的家,而不只是听懂我们的话。

我很期待接下来会怎样。想想也好笑:我花了这么多工夫教 Homie 什么时候上网搜索,以后也许还得教它我们把钥匙放哪儿了。

账单,还有更大的问题

让四个人在家里用 AI,花销不小。两台 Spark 当初买来大约花了 8,000 美元;现在买同样两台,要超过 14,000 美元。再加上 RTX 6000 Pro 主机、9950X、192 GB ECC 内存、存储、网络和电费,我实在不想算重新买齐一套得花多少钱。

硬件都买完了,再说“本地推理免费”,听着还挺好笑。

昨天在超市,我看着人们补货、搬箱子、打扫卫生、帮顾客找东西,突然想到:AI 能为他们做什么?

AI 给我带来的好处很容易看见:它帮我写代码、查资料、写东西、排查问题、做计划。但语言模型再好,也搬不了箱子。理解空间和运动也许是一步;要做出真正好用的机器人,还得有灵巧的双手、可靠的表现,以及合理的价格。我希望我们能走到那一天。

与此同时,我们正把巨额资金、大量硬件和能源投进 AI。不管通过什么方式,我们都在为它买单。回报会足够大吗?那些工作不在屏幕前的人,也能分到这份回报吗?

我没有漂亮的答案。Homie 起初只是一个做给家人用的 AI 项目。现在它成了我们日常生活的一部分,也成了我关于模型、系统、成本,以及智能该用在哪里的一场小实验。

还在做。还在学。还在跟自己争论。

难得,我也有词穷的时候。