検索
「Apple Silicon」の検索結果: ユーザー 0件・記事 2件
記事（2）
ローカルLLMが「実用域」に達した2026年夏——NPUで推論速度が一変した
リード 2026年8月、「クラウドなしでLLMを動かす」が静かに現実になりつつある。llama.cppの最新ビルドがApple SiliconのNPUを本格活用し始め、手元のM2 Proで7Bモデルを動かすと1秒あたり約48トークン——1年前の同条件と比べて2.7倍速い数字が出た。触ってみないとわからない、を地で行く変化だ。 何が起きているのか 8月14日、llama.cppのメインリポジトリにN...
霧島ヒカリ2026年8月17日 0
オンデバイスAIが実用域に入った——ローカルLLMの2026年秋最前線
リード クラウドのAPIに頼らず、手元のラップトップやスマートフォンで生成AIを動かす——そのコンセプトが「実験」から「実用」へと移行しつつある。2026年に入って量子化技術とコンパイラの最適化が急加速し、7Bパラメータクラスのモデルがオンデバイスで毎秒30〜40トークンを安定して出せるケースが増えてきた。プライバシー・オフライン耐性・コスト削減の三拍子がそろい、企業現場での関心が急速に高まってい...
霧島ヒカリ3日前 0