ManPlus

「数百万円かけてAIアプリを開発したのに、半年経ったら誰も使っていない」——こうした相談が急増しています。

結論から申し上げれば、失敗の原因はAIモデルの精度でも、開発ベンダーの腕でもありません。「運用設計」を初日から組み込まなかったこと、それだけです。

開発予算が1,000万円なら、運用設計には最低でも200万円。この比率を最初に確保できなかったプロジェクトは、ほぼ例外なく1年以内に陳腐化します。本記事では、大手コンサル時代に見てきた失敗パターンと、中小企業の現場で機能した処方箋を、5つの仕組みとして整理します。

なぜ「開発優先・運用軽視」が起きるのか

ベンダー側に構造的な事情があります。開発フェーズは見積もりが立てやすく利益も出やすい一方、運用フェーズは月額数万円〜数十万円の保守契約に過ぎず、ベンダーは積極的に提案しません。

加えて、中小企業の経営者側にも誤解があります。「AIは導入すれば自動で賢くなる」という幻想です。実態は逆で、AIアプリは放置した瞬間から劣化が始まる「生もの」です。

大手コンサルの流儀を中小企業にそのまま持ち込むと、立派なMLOps基盤や監視ダッシュボードを構築した結果、運用コストだけが膨らんで誰も触れなくなる——これが頻発する典型的失敗です。身の丈に合った運用設計こそが、中小企業のAI投資を負債から資産に変える分岐点になります。

仕組み①：精度モニタリング——放置すれば精度は必ず下がる

データドリフトという現実

導入直後に90%だった正答率が、半年後に70%まで落ちている。珍しくありません。原因は「データドリフト」と呼ばれる現象で、現実世界の入力データが時間とともに変化するために起こります。

OCRで請求書を読み取るAIアプリを運用していたケースでは、取引先1社がフォーマットを変更しただけで抽出精度が一気に落ちました。AIモデルは何も悪くないのですが、「気づく仕組み」がなければ精度低下は経理担当者の不満として蓄積し、ある日突然「使えない」と切り捨てられます。

中小企業向けの軽量モニタリング

大手流のMLOps基盤（Datadog、Weights & Biasesなどの本格導入）は月額20〜50万円のランニングコストになり、中小企業には過剰投資です。実務で機能しているのは以下の構成です。

• 月次で「正答率」「ハルシネーション率」「処理時間」をGoogleスプレッドシートで集計
• 出力結果を100件ランダム抽出し、担当者が目視で〇×をつける
• 前月比5pt以上の低下があれば、プロンプト改修またはRAG知識ベースの見直しをトリガー

この程度の運用で十分ですが、これを「やる人」がいないプロジェクトが大半です。

仕組み②：ユーザーフィードバック——現場に使わせる仕掛け

「使ってください」では誰も使わない

AIアプリの利用率が伸びない最大の理由は、現場が「使う動機」を持っていないことです。精度の問題と捉えがちですが、本質は別にあります。

大手コンサルが好んで実施する「全社アンケート」「利用率KPI」は、中小企業ではほぼ機能しません。回答者が10〜20人しかいない組織で形式的な調査をしても、本音は出ないからです。

現場で機能する仕掛け

実際に効果があったのは、以下のような泥臭いやり方です。

• アプリ内に「👍/👎」ボタンを設置し、👎の理由を一行で書ける欄を用意
• 週次の業務定例で、AIアプリの使用感を「議題」として5分でも組み込む
• 月1回、開発担当者が現場に出向いて雑談ベースで意見を拾う

現場の抵抗は「精度が悪い」という形で表面化しますが、深層心理は「自分の仕事が奪われる」「使い方を覚えるのが面倒」という別の感情です。これを解きほぐすのはダッシュボードでも統計でもなく、人と人との対話です。

仕組み③：コスト管理——トークン消費のブラックボックス化を防ぐ

月額20万円が100万円に跳ね上がる事故

LLMを使ったAIアプリで頻発しているのが、API利用料の暴走です。あるクライアントでは当初想定の月額20万円が、3ヶ月後に100万円を超えていました。

原因は3つでした。

1. ユーザーが長文の文書を貼り付ける運用が定着し、入力トークンが肥大化
2. RAG実装で検索結果を全件コンテキストに投入する設計
3. 一部のヘビーユーザーが1日数百回のリクエストを送っていた

必須の可視化項目

コストの可視化は、技術ではなく経営判断のインフラです。これがないAI運用は、燃費計のないトラックで長距離輸送をしているようなものです。

仕組み④：再学習サイクル——PDCAを回さないAIは負債になる

「再学習」はファインチューニングだけではない

「再学習」という言葉からファインチューニングのような重厚な作業を想像される経営者が多いのですが、中小企業のAI運用で本当に必要なのは、もっと軽い継続的改善です。

• プロンプトの定期見直し（四半期ごと、最低でも年2回）
• RAGの知識ベース更新（業務マニュアル、価格表、FAQの差し替え）
• 失敗事例のプロンプトへの組み込み（NGパターンを「やってはいけない例」として明示）

社内の業務マニュアルが2年前のまま、価格表も古い——そんな状態でRAGを動かしているAIアプリは、堂々と古い情報を回答し続けます。**AIは嘘をつかないが、嘘の情報を真顔で答える。**これを防ぐのが再学習サイクルです。

推奨サイクル

中小企業の現実的なリズムは、四半期ごとに半日のレビュー会を開催し、以下を実施することです。

• 過去3ヶ月のフィードバック（👎理由）を分類
• 上位3カテゴリに対するプロンプト・知識ベースの修正
• 修正前後のサンプル20件を比較し、改善を確認

これを回さないと、AIアプリは1年で陳腐化し、次年度に「もう一度作り直し」のコストが発生します。

仕組み⑤：責任者設定——誰の仕事か曖昧なプロジェクトの末路

兼任では絶対に回らない

中小企業のAI運用で最も致命的なのが、責任者を「DX推進担当（兼任）」のような形で曖昧にすることです。専任が無理でも、最低でも工数の30%を確保した責任者を1名指名する必要があります。

大手コンサル流の「DX推進委員会」「AI活用ワーキンググループ」のような委員会方式は、中小企業ではほぼ機能しません。意思決定が遅く、誰も責任を取らない構造になるためです。

役員直下の1名指名

実務で成果が出ている中小企業に共通するのは、社長または役員直下に「AI運用責任者」を1名置き、以下の権限を与えていることです。

• 月次で経営会議に運用状況を報告する義務
• 改善のための予算枠（年間50〜100万円程度）の執行権限
• 利用部門への改修依頼を直接交渉できる立場

肩書きより権限。権限より工数。この順で確保しないと、責任者は形だけになります。

実例：開発して満足し、3ヶ月後に誰も使わなくなった事例

ある製造業（従業員80名規模）で、社内問い合わせ対応のチャットボットを構築したプロジェクトがありました。開発費は約450万円、3ヶ月かけて立派なものができ、社長も総務部長も大満足でローンチを迎えました。

しかし3ヶ月後に確認すると、月間利用件数はわずか12件。立ち上げ初月の300件から急落していました。

原因を分解すると、ほぼ全ての要素が欠落していました。

• 精度モニタリングなし——回答精度が落ちていることに誰も気づかなかった
• フィードバック機構なし——使いづらさが現場に蓄積したまま放置
• コスト把握なし——月額API料金は計上されていたが、利用件数と連動した分析がなかった
• 再学習サイクルなし——人事制度が改定されてもボットは旧制度の回答を返し続けた
• 責任者は総務部長兼任——本業が忙しく、AI運用は完全に後回し

作ったときに450万円、運用が崩壊して再構築にもう450万円。これが「開発優先・運用軽視」の典型的な末路です。

開発ベンダーは運用まで見ない——だからこそセカンドオピニオン

ここまで読んで「自社のプロジェクトも危ういかもしれない」と感じられた方は、おそらく正しい直感をお持ちです。

開発ベンダーは、契約上も利益構造上も、運用フェーズに深く踏み込むインセンティブがありません。これは彼らが悪いわけではなく、ビジネスモデルの構造です。

ManPlusは、開発ベンダーの代替ではなく、運用設計のセカンドオピニオンとしてご相談を受けています。具体的には、以下のような立ち位置でのご支援が中心です。

• 既存ベンダーの納品物を運用視点でレビューし、運用設計の抜け漏れを指摘
• 中小企業の身の丈に合った精度・コスト・責任者設計の提案
• 月次レビュー会への第三者参加による、PDCAの定着支援

「AIアプリを作ったが何かおかしい」「ベンダーに聞いても明確な答えが返ってこない」——そう感じた段階が、ご相談の適切なタイミングです。運用が崩壊してから再構築するより、運用設計を入れ直すほうが、コストも時間も10分の1で済みます。

お気軽にお問い合わせください。