ericterminal
V2EX  ›  Local LLM

什么? Apple Watch 也能本地跑 Qwen 了?

  •  1
     
  •   ericterminal · 4h 41m ago · 874 views

    原谅我这个标题感觉有点骗人进来的感觉但是真做到了

    某天写代码的时候我突然灵光一现,Apple Watch 可以跑 C/C++,llama.cpp 就是 C++写的,那么能不能让 Apple Watch 跑 llama.cpp 呢?

    然后我花了几天努力把 llama.cpp 通过伞头文件桥接进了支持 Apple Watch 的 Swift 程序

    我刚才把 Qwen3.5-0.8B-Q4_K_M.gguf 塞进了我的 Apple Watch S8 里面

    能跑哦齁齁齁齁哦齁齁齁齁❤️❤️❤️❤️!!

    这颗 t8301 挺耐操的,虽然速度有点感人,才 0.27token/s ,纯 CPU 算的,峰值能力应该有 iPhone6s 的八成水平

    但是如果真上最新的 iPhone 的话估计可以跑到上百 token/s ,毕竟有 Metal

    不要问有啥意义,之前给 iPhone 刷 MIUI 没意义不也有人干了嘛 hhhhh

    我还想发 B 站或者油管,但是这个速度,怎么好让人家一眼看到功能呢哈哈哈 (遥想当年,iPhone 开机出现的那个 MI 图标)

    iOS 和 watchOS 都可以用,GitHub 仓库是 https://github.com/Eric-Terminal/ETOS-LLM-Studio

    6 replies    2026-06-09 19:17:32 +08:00
    afirefish
        1
    afirefish  
       4h 29m ago
    6
    yiranw09
        2
    yiranw09  
       4h 28m ago
    这也能赛?
    qq316107934
        3
    qq316107934  
       4h 28m ago
    说不定 S11 会更快,有可能破 1 token/s
    ericterminal
        4
    ericterminal  
    OP
       4h 8m ago
    @qq316107934 应该没那么容易,watchOS 都是 CPU 算的,S9 和 S11 是同一款芯片,官方说性能相比于 S8 的 t8301 提升 60%,那也应该才 2-3s 有 1token
    qq316107934
        5
    qq316107934  
       3h 17m ago
    @ericterminal #4 哦哦,我以为可以调用 TPU ,Apple 这两年 TPU 算力都是翻倍走的
    rb6221
        6
    rb6221  
       3h 0m ago
    llama.cpp 一直是能跑的,我之前还打算在我的闲置 Android 机部署 gemma4 呢,后来操作了一下发现我设备是 32 位的,他只支持 64 位😅
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3146 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 82ms · UTC 14:18 · PVG 22:18 · LAX 07:18 · JFK 10:18
    ♥ Do have faith in what you're doing.