ゆきしょう 
こんにちは、ゆきしょうです。
Web制作会社に向けたフォーム営業を、Claude Codeで作った仕組みで回しています。
その仕組みが、タクシー会社に営業文を送っていました。
前に、AIに任せるなら設計図を先に渡す、という記事を書きました。
今回はその続きで、直すときの話です。
AIに営業を任せたら、何が起きたのか？
制作会社に送るはずのフォーム営業が、タクシー会社に届いていました。
私の営業は、制作会社の問い合わせフォームに、外注先としての自己紹介を送るものです。
会社を探すところから送るところまで、Claude Codeで作った仕組みが動いています。
ある日、その仕組みの設計をやり直している途中で、気づきました。
その日に集めたリストに、どう考えても制作会社ではないタクシー会社が混ざっていたのです。
しかも、もう送っていました。
送った先を、全部確かめることにしました。
送信を試みた554社について、会社概要のページを機械で取りに行きました。
事業内容の欄が取れたのは197社です。
そのうち6社が、はっきり他業種でした。
タクシー会社、内装工事の会社、介護、住宅、ガス、卸売りの会社です。
相手から見れば、宛先を間違えた迷惑メールです。
なぜ他業種に送ってしまったのか？
直すたびに1か所ずつ継ぎ足していたので、穴が別の場所に開いていたからです。
数字を見ると、原因の場所がはっきりします。
8月までの営業リスト由来の会社は、確かめられた148社のうち他業種は1社でした。
9月に入ってから機械が検索で見つけた会社は、49社のうち5社です。
割合にして0.7%と10.2%、14倍の差がありました。
穴は、後から足した「機械が会社を探す工程」にありました。
しかも3つ重なっていました。
1つ目は、社名は照合していたのに、業種は見ていなかったことです。
会社のサイトを開いて、社名が合っているかは確かめる。
でも、何の会社かは確かめない。
2つ目は、業種の判定が、検索結果の説明文に印を付けるだけだったことです。
「タクシー」も「内装工事」も、他業種の言葉のリストに入っていませんでした。
印すら付かないので、そのまま通ります。
3つ目は、時間です。
会社を探す処理が終わってから、送信が始まるまで14分しかありませんでした。
その日に増えた562件を、人が見る間はありません。
業種の言葉を足したその翌日に、足していない言葉の会社が抜けました。
言葉を数え上げる方式は、足しても次の穴が別の言葉で開きます。
「設計図を先に」と書いたのに、なぜ繰り返したのか？
営業の仕組みは設計図を作らずにいきなり作り始めていて、直すときも1か所ずつ塞いでいたからです。
前の記事で書いた畑の管理システムでは、作る前に完成形を決めました。
そこでは、うまくいきました。
営業の仕組みは違いました。
会社を探す、社名を照合する、フォームを見つける、送る。
この流れを、設計図を作らずにいきなり組みました。
穴が見つかるたびに、その1か所に関所を足して塞いでいました。
塞ぐたびに、次の穴が別の場所に出ます。
こっちを直したらこっちが壊れる、という状態です。
ちゃんとした設計図を最初に作らなかったのは、良くなかったと思います。
1から設計し直して、何を変えたのか？
人が手でやっている手順に機械を合わせ、会社概要の事業内容の欄を実際に読む形にしました。
まず、世の中の営業リストの作り方を調べてもらいました。
世の中の標準は、送る相手の条件を先に文書にし、リストの選別は人がやる、というものでした。
私の仕組みに無かったのは、この2つです。
そこで工程を、集める、確かめる、人が承認する、送る、の4つに分け直しました。
機械の仕事は「証拠を集めるところまで」に限りました。
会社のサイトを開いて、会社概要の事業内容の欄を実際に読む。
事業内容の欄が無ければ、トップページと会社概要の本文を読む。
見つかった文言と、そのページのURLを一覧に出す。
ここまでが機械です。
送ってよいかを決めるのは、私です。
機械が制作会社らしいと判定しても、通過ではなく保留に置きます。
私が一覧を見て承認した先だけが、送信の対象になります。
なぜ機械に決めさせなかったか。
試したからです。
9月に届いた160社のサイトを、1社あたり平均4.5ページ巡回させました。
制作を受託していそうな言葉で機械に判定させた結果は、こうでした。
適合83社、弱い29社、判定できず47社。
そして他業種の5社のうち2社を、適合と誤判定しました。
「制作」も「お見積もり」も「料金プラン」も、内装業のサイトにもガス会社のサイトにもあります。
言葉の有無では、業種は分けられませんでした。
機械だけに任せた場合、防げるのは5社中3社です。
残りの2社は、人が見るしかありません。
他業種と分かった6社は、送信禁止のリストに入れました。
作り直してから2週間ほど、小さな修正を続けながら動かしています。
今までで一番うまく回っています。
AIの仕組みを直すとき、先に何をすればいいのか？
直す前に、紙に書くことです。
私が決めたルールは1つだけです。
既にある仕組みに手を入れるときも、新しく作るときと同じ扱いにする。
つまり、世の中のやり方を調べて、設計図を書いてから直す。
設計図に書くのは、機能の一覧ではありません。
人が手でやるなら、どの順番で何を見るか。
その中で、どこまでを機械に任せ、どこから人が決めるか。
この線を紙に引いておくと、次に穴が開いたとき、どの工程の穴かがすぐ分かります。
継ぎ足しで直しているうちは、この線がありませんでした。
だから穴が開くたびに、別の場所に新しい穴を作っていました。
タクシー会社に届いた営業文は、取り消せません。
同じ失敗をしないために、私は直す前に紙を1枚書くようになりました。
この営業の仕組みそのものの数字は、こちらに書いています。
前の記事、作るときの設計図の話はこちらです。
以上、AIの仕組みは直すときにも設計図が要る、という話でした。
