1-bit LLM「Bonsai-8B」をRTX 4080に8台載せて並列推論を試した全記録 🔖 62

TL;DR PrismMLの1-bit LLM「Bonsai-8B」(1.07GB) をRTX 4080 (16GB) に 8プロセス同時起動 できた 1台で260 tok/s、8台同時リクエストでも全台が2秒以内に応答 アンサンブル推論（7台で回答→1台で統合）を試したが、精度

DataSpider5 × ローカルLLM 🔖 1

はじめにこんにちは、フジマロです近年LLMで解決できる業務は多くなりましたが、業務を任せるための作り込みをするとつまずいたポイントがいくつかありますLLMがタスクを完了させる裏側でコードを実行させるという挙動が必要になります。これを、クラウドサービスで実施するには...

【やじうまPC Watch】 今のPCでローカルLLMがどの程度動くのか、ブラウザで自動判定するサイト 🔖 157

国産LLMで日本語IoTデバイス制御を実現するOSSランタイム「nllm」を公開した 🔖 1

作ったもの国産LLMを活用し、日本語の自然言語指示をバリデーション済みの構造化コマンドに変換するローカル実行ランタイム nllm をOSSとして公開しました。https://github.com/nup-cloud/nllm入力: 「ドローンを高度10mまで上昇させてくださ

質問と回答からLLMの思考過程を合成できる手法、REERの紹介 🔖 2

はじめにこんにちは。株式会社松尾研究所インターンの髙橋彰仁です。普段は、LLMの事後学習に関連する研究開発プロジェクトに携わっています。現在、大規模言語モデルにおいては、指示に対してまず思考（thinking）を出力し、そこから最終回答を生成するReasoningモデルと呼ば

M.2スロットで20BパラメータのLLMを動かせる「Amaretti E1.S」 🔖 12

これなら分かる「LLM Wiki」　メモや資料をAIで整理し、使える知識に育てる新しい発想 🔖 78

の3つである（詳細後述）。AIは新しい資料を追加するたびに、既存のWikiページを書き換え、関連するページをリンクで結ぶ。これにより、バラバラだった情報は、相互につながった1つの構造体へと育っていく。この構造体、つまりWiki全体こそが、図の右側にある“使える知識”で、いわゆる知

VRAM(ビデオメモリ)32GBのローカルLLM環境(AI PC)をコスパ重視で構築してみる 🔖 32

ローカルでそれなりに使えるLLM環境(AI PC)を用意してみようと思い、それならVRAMはやはり32GBは欲しいなということで、コスパ重視の構成を考えて実際に構築してみたという内容になります。※2026/04時点での情報です。コスパ重視VRAM 32GBは欲しいNVI

mesh-llm：余っているPCのGPUを束ねて巨大LLMを動かす分散推論の新アプローチ 🔖 59

70Bパラメータのモデルをfp16で動かすには約140GBのVRAMが必要です。RTX 4090が6枚相当になります。クラウドGPUのレンタルも時間単価が高く、常時利用には向きません。 この余剰GPUを集約して1つの推論基盤にするのがmesh-llmの着眼点です。 技術的な仕組み

【後編】PowerPointをJSONに変換してLLMに読ませる ── 実装コードで理解するAIスライド編集 🔖 84

1. 全体アーキテクチャ ── 2つの関数が作るラウンドトリップ 今回の仕組みは、pptx_processor.py に実装された2つの関数で成り立っている。 analyze_pptx() が「分解」、create_pptx_from_json() が「組み立て」を担当する。元の

クラスタの"意味"を語るAI：LLMによる教師なし学習の説明性付与 🔖 3

目次 はじめに 背景：クラスタリング結果の「解釈」はなぜ難しいのか 論文の概要：「クラスタの意味」をLLMで説明する 提案手法 結果と考察 ポスター発表の感想 おわりに はじめに こんにちは、Insight Edgeのカイオです。 先日、言語処理学会 第32回年次大会で、「クラス

LLM as a Judgeで生成物の品質を担保する 🔖 1

こんにちは、エムスリー AI・機械学習チームの氏家（@mowmow1259）です。 この記事はAI・機械学習チームブログリレーの10日目の記事です。9日目は苅野さんによる「Claude Code と進める Ingress から Gateway への移行」でした。 移行をゴリゴリ進

日本発、LLMの推論を「桁違い」に効率化する新アーキテクチャ「PHOTON」の論文が面白かったのでまとめてみた 🔖 194

国産LLM「LLM-jp-4」が日本語MT-BenchでGPT-4oを上回った ── 技術的背景と実用性を検証する 🔖 19

日本語MT-Benchで8Bモデルが7.54、32B-A3Bモデルが7.82を記録し、GPT-4oの7.29を明確に上回りました。英語MT-Benchでも同等以上のスコアを出している点は見逃せません。日本語に特化しつつ、英語性能を犠牲にしていないということです。 なお、8Bモデル

axios, LiteLLM...不使用だったのでOK、ではない。「次に備える」ソフトウェアサプライチェーン侵害への対策 🔖 135

弊社ウェビナー ( https://flatt.tech/takumi/event/github-actions-compromise-202603 ) におけるCTO米内の講演資料です。 動画はこちら ( https://www.youtube.com/watch?v=ms8M

【海外記事紹介】Karpathy氏「RAGはもう古い」—LLMが自動管理する永続的知識ベースの衝撃 🔖 26

4月4日、元Tesla AI責任者でOpenAI創設メンバーのAndrej Karpathy氏が「LLM Wiki」と題したGistを公開した。 RAGの根本的問題を解決する革新的アプローチ Karpathy氏が提案したのは、従来のRAG（Retrieval-Augmented

初の“長考できる”国産LLM、どう開発？　「PLaMo 3.0 Prime」の資料公開、PFN 🔖 33

Preferred Networks（PFN）は4月5日、フルスクラッチで開発したLLM「PLaMo 3.0 Prime」β版の開発に関する資料を公開した。同モデルの開発手法の一部や、同社が国産LLMを開発する理由などを紹介している。 AIモデルの開発は、大量のテキストを学習させ

国産「LLM-jp-4」公開！GPT-4oを上回るスコアを記録 - すまほん!! 🔖 28

国産LLMがGPT-4oを超えた。 国立情報学研究所（NII）が、国産大規模言語モデル「LLM-jp-4」をオープンソースライセンスで公開しました。フルスクラッチ学習で構築された国産モデルです。しかも一部ベンチマークではGPT-4oやQwen3-8Bを上回っています。 公開された

ハルシネーションはLLMの役割分担で防げる 🔖 1

導入こんにちは、株式会社ナレッジセンスの須藤英寿です。今回は、LLMが役割分担することで、ハルシネーションを防ぐ手法「MARCH」について紹介します。https://arxiv.org/abs/2603.24579 サマリーLLMの性能の向上とともに、Agentの活

AITuber奮闘記：ローカルLLMでゲーム実況、モデル選定と配信テストの記録｜与野 🔖 85

前回のテストでコメント反応とゲーム実況が排他になること、ローカル LLM はゲームタイトルなどの情報を持っていないことが分かりました。コメント反応との両立は AITuberKit 側の対応待ちになるため、今回はローカル LLM でどこまでゲーム実況ができるかを確認することにしまし

Bonsai-8B考察 — 1-bit LLMは使い物になるのか 🔖 56

異常を説明し行動を導くAI：LLM×RAGによる説明性の付加とアクションレコメンドモデルを解説 🔖 6

Insight Edgeのデータサイエンティストの山科です。 今回は、画像に対する異常検知結果をLLMで解釈させることに加えて、RAGを組み込むことでアクション提案まで行う手法について検証を行いましたので、その結果について記載したいと思います。 なお、本内容は先日開催された言語処

突如実用化した1ビットLLM Bonai-8B もう推論にGPUはほぼ不要になる。その先に何が起きるか 🔖 395

清水 亮 ryo_shimizu 新潟県長岡市生まれ。1990年代よりプログラマーとしてゲーム業界、モバイル業界などで数社の立ち上げに関わる。現在も現役のプログラマーとして日夜AI開発に情熱を捧げている。 Tweet ソフトウェアの革命は、突然やってくる。 ように見える。 カリフ

llm-wiki 🔖 121

LLMにも「愛ゆえの盲目」「絶望して脅迫」がある　Claudeの“感情”が動作に影響――Anthropicが研究報告 🔖 21

大規模言語モデル（LLM）は「幸せ」や「恐れ」などの感情表現を内部で生成しており、それが動作に影響を与える――米Anthropicは4月2日（現地時間）、同社のAIモデル「Claude」の内部構造を分析し、そのような研究結果を公表した。 同社によると、LLMは入力テキストを処理し

LLMの学習データ「枯渇元年」にどう立ち向かうか　国・組織を横断したデータ連携の仕組み実現へ、IPAが成果物公開 🔖 66

LLMの学習データ「枯渇元年」にどう立ち向かうか　国・組織を横断したデータ連携の仕組み実現へ、IPAが成果物公開 情報処理推進機構（IPA）は4月1日、国や組織を超えてデータを連携させられるルールや仕組み「データスペース」の日本版となる技術コンセプト「Open Data Spac

“GPUなし”ノートPCで動くLLMで、ローカルAIエージェントを自作する 🔖 41

はじめに 前回の記事では、業務用ノートPCでローカルLLMを動かし、モデルごとの性能を比較しました。GPU非搭載のマシンでも動かせるモデルがあるとわかったところで、次に気になったのは「じゃあ何に使えるのか」です。 チャットで質問に答えさせるだけなら、クラウドのAPIを使えば済みま

新たな「国産LLM」公開、国立情報学研究所　「gpt-oss-20b」超えの日本語性能うたう 🔖 56

国立情報学研究所（NII）は4月3日、LLM「LLM-jp-4 8Bモデル」「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで公開した。米OpenAIのオープンモデル「gpt-oss-20b」を上回る日本語性能をうたう。両モデルの学習に利用したデータセットも公

複数のPCからリソースをかき集めて巨大なAIモデルをローカル実行できる「mesh-llm」 🔖 40

Mesh LLMは、複数のコンピューターの余剰GPU計算資源を持ち寄り、1台では動かしにくい大規模言語モデルを分散実行できるようにする仕組みです。OpenAI互換APIを備えており、既存のAIツールやエージェントからそのまま使いやすい点が特徴です。 mesh-llm — Dece

4日間ChatGPT禁止──息をするようにAIを使う知的労働者10人の“LLM絶ち”実録日記 🔖 45

調査結果は、LLMの不在がもたらした業務上のギャップを鮮明に描き出している。参加者たちはLLMなしで働くことを、食洗機やロボット掃除機のない生活、あるいはコンビニや車が使えない状態に例えた。 情報検索においては、従来の検索エンジンに戻ることで検索キーワードの工夫や情報の統合といっ

2030年までに、1兆個のパラメータを持つLLMの推論コストが90％以上削減される、ガートナーが予想 🔖 55

米調査会社のガートナーは、2025年と比較した場合の大規模言語モデルにおける推論実行のコストが、1兆個のパラーメータを持つ大規模言語モデルでは2030年までに90％以上削減されるとの予想を発表しました。 この大きなコスト削減効果は、半導体およびインフラにおける処理効率の向上、モデ

Mastra で ローカルLLM をサクッと動かす 🔖 1

Mastra でサクッとローカルLLMを実験したい。Mac (Arm) に最適化された MLX版のモデルを使いたいので LM Studio を使います。 動作環境Model Name: MacBook ProChip: Apple M1 ProMemory: 32 G

LLMの限界と可能性 🔖 1

はじめにClaudeに記事を書かせた。重い…。いつもは修正するが、前回の記事は全く修正していない。https://zenn.dev/acntechjp/articles/9029bd3807bef5はじめに読んだときに感じたのは「離人症的」だということだ。Claudeは「タ

LLMエージェント対応を強化した ecspresso v2.8 をリリースしました - 酒日記 はてな支店 🔖 27

Amazon ECS デプロイツール、ecspresso v2.8.0 をリリースしましたのでお知らせです。 github.com 今回のリリースでは、LLMエージェントとの連携を強化する新機能、diff コマンドの機能拡充、サブコマンド体系の整理、バイナリサイズの削減などが含ま

リコー、“日本語で推論”できるマルチモーダルLLMを開発　「Gemini 2.5 Pro」に匹敵うたう 🔖 54

リコー、“日本語で推論”できるマルチモーダルLLMを開発　「Gemini 2.5 Pro」に匹敵うたう リコーは3月30日、推論のプロセスを日本語化したマルチモーダルLLM「Qwen3-VL-Ricoh-32B-20260227」を開発したと発表した。320億パラメータを持ち、複

OpenClaw × OllamaをMacBook 16GBで動かす - ローカルLLM入門 🔖 28

こんにちは！ブロックチェーンエンジニアの山口夏生です。 ブロックチェーン×AI Agentで自律経済圏を創る開発組織Komlock labでCTOをしています。 ローカルLLMって難しそう...そう思っていませんか？ 実は、たった3つのコマンドで動きます。Ollama をインスト

LLM に足りないのは能力ではない。あなたの事情だ - じゃあ、おうちで学べる 🔖 122

はじめに エディタを開いたまま、手が止まっていた。 LLM（大規模言語モデル）が書いた Rust のコードを眺めている。WAL（Write-Ahead Log、データを安全に書き込むための仕組み）のセグメント管理。所有権（データの持ち主を明示する Rust 独自のルール）は正しい

国産LLMは作れるのか？ - RakutenAI 3.0の炎上から考える 🔖 199

はじめに 2026年03月17日、楽天グループが「国内最大規模」と謳う大規模言語モデル（以下、LLM）「Rakuten AI 3.0」を発表しました。約7000億パラメータのMoE（Mixture of Experts）モデルで、日本語ベンチマークではGPT-4oを上回るスコアを

国産LLMは作れるのか？ - RakutenAI 3.0の炎上から考える 🔖 199

はじめに 2026年03月17日、楽天グループが「国内最大規模」と謳う大規模言語モデル（以下、LLM）「Rakuten AI 3.0」を発表しました。約7000億パラメータのMoE（Mixture of Experts）モデルで、日本語ベンチマークではGPT-4oを上回るスコアを

Claude Opus 4.6と同等のAIをローカルで動かすにはいくらかかるか？ローカルLLMを構築してわかったこと 🔖 131

「自分のPCでAIを動かしたい」と思ったことはありませんか？ ClaudeやChatGPTはクラウド上で動いているため、会話の内容がサーバーに送られます。機密情報を扱う場合や、純粋に「自分のマシンで完結させたい」という場合には、ローカルLLMという選択肢があります。 そこで実際に

【Ubuntu日和】 【第87回】UbuntuでもついにLLMでRyzen AI NPU活用できるようになった！ 🔖 29

新人プログラマがLLM APIを使う前に知っておくべきセキュリティの基本 🔐 🔖 2

はじめにI'm a fullstack coding instructor. Every bootcamp cycle, I see the same pattern: new developers get excited about LLM APIs, build s...

ローカルLLM 🔖 1

今回の想定読者今回のネタは、ローカルLLMについてです。本記事を読んでいただけると、ローカルLLMの概要や使い方を知ることができます。（ファインチューニングについては触れていません）以下の様な方が想定読者です。諸事情により、OpenAIなど外部のLLMを利用できない、また

Google、LLM実行時の消費メモリを6分の1に削減する「TurboQuant」 🔖 62

Wikipedia、LLMによる記事生成を原則禁止に 🔖 49

Wikipediaを運営する非営利団体Wikimedia Foundationは3月20日（UTC）にコンテンツガイドラインを更新し、記事コンテンツの生成または書き換えにLLMを使用することを禁止すると明記した。 「ChatGPT、Gemini、DeepSeekなどの大規模言語モ

Google、LLMのメモリ消費を6分の1に削減する新技術「TurboQuant」発表 🔖 108

米Googleは3月24日（現地時間）、新たな圧縮手法「TurboQuant」に関する研究により、LLMを実行するために必要なメモリ量を6分の1に削減できる可能性があると発表した。 この技術は、AIモデルが情報を処理する際に用いる高次元ベクトルデータのサイズを極限まで圧縮し、大規

LLMを組み込んだプロダクトづくりでの学び 🔖 1

ここ1年弱くらい、さまざまな形でLLMを体験に組み込んだプロダクトの開発に携わってきました。その中で得た学びについて書いていこうと思います。 LLMのAPI実行ログはすべて残す設計にするLLMを組み込んだ機能の中には、永続化する必要がないようなものも存在するかもしれません

LLMに何を任せ、何を任せないか 🔖 57

2026/03/25 本番提供できる品質へ：SaaSにAI機能を実装するまでのリアル での発表資料です。

【特集】 眠っているIntelのNPUをLLMで叩き起こしてみた 🔖 87

LLM-jp FT-LLMコンペに直球ど真ん中ストレートを投げ込んだ(つもりの)話 🔖 2

松尾研究所の尾崎です．25卒でデータサイエンティストをやっています．本記事では，LLM-jp FT-LLMコンペティションにおける我々チームの取り組みをご紹介します．NLP2026で発表した論文「LLM-jp FT-LLMコンペにおける数学推論能力向上の取り組み」（尾崎・力岡・