Mogicはかんがえる

『自分たちの好きなように会社を作っていけばいい。
他と違ってても、普通じゃなくても、信じられることをやっていく。
信じられること、それって案外と少ないものですから
そう、本当に愚直に、率直に、真摯にそれを探してきたんです』

代表取締役　山根陽一

2026.05.22 posted by 山根陽一

へえ、ここがつながってるんだ

会社を運営していると、結果が出たけど原因がわからない、みたいなことがよく起きます。

有名なヒヤリハットの法則みたいに、何度かヒヤリとすることがおきて、ハッとするような重大事故が発生する前提であれば良いのですが、一見すると何が起きているか分かりにくい事象があります。

たとえば、急にあちこち電球が切れるようになった、請求書の記載間違いが増えた、インターン生の応募が減ってきた、というような一見関係のない事象の重なり。

実際に関係ないかもしれないし、何か根源的な原因が一緒だったりするかもしれない。

そこで一つのモデルを使って思案するのですが、最近は生成AIのおかげでとても遠くまで楽に推定できるようになりました。

ーーーーー
隠れマルコフモデル
https://w.wiki/3E2Z

単純なマルコフ連鎖では、状態は直接観測可能であり、そのため、状態の遷移確率のみがパラメータである。

一方、隠れマルコフモデルにおいては、状態は直接観測されず、出力（事象）のみが観測される。

従って、ある隠れマルコフモデルによって生成された出力の系列は、内部の状態の系列に関する何らかの情報を与えるものとなる。

略

遠くに住んでいる友人のアリスとボブがいて、電話で毎日お互い自分のしたことを話している。

ボブは「公園での散歩 (walk)」、「買い物 (shop)」、「部屋の掃除 (clean)」の3つのことにしか関心がない。

何をするかは、その日の天気によってのみ決めている。

アリスはボブが住んでいる地域の日々の天気については具体的に知らないが、一般的な天候の変化については知っている。

ボブが毎日話すことにもとづいて、アリスは天気がどのようになっているかを推測しようとする。

アリスは、天気が離散マルコフ過程として変化すると考える。

天気には「雨 (Rainy)」と「晴れ (Sunny)」の2つの状態があるが、アリスはそれを直接知ることができないから「隠れ」た状態である。

毎日、ボブは天気に応じて「散歩」「買い物」「掃除」のどれかひとつだけを必ずする。

ボブがそれをアリスに話すことが、アリスにとっての観測（ボブからの出力）である。

この状況全体が隠れマルコフモデルとなる。
ーーーーー

ちょっと難しくなりますが、ここ1年でAIは短期記憶みたいなコンテキストウインドウ（状態空間モデルの応用）が莫大に増えました。

コンテキストウインドウ＝教えてもらった前提条件を忘れずに全部ひっくるめて考えちゃおう、みたいなノリですね。

コンテキストウインドウにいれた膨大な事象から、見えていない状態遷移を推定できる。

推定することの最大の課題はいつも小さなエラーの累積による誤差ですから、そこが良くなると遠くまで見通せる可能性が出てきます。

へえ、こんなところがつながってるんだと計算結果がでてくる一方で、本当にそうなのかなあとなって最後は自分が見極めなきゃで、切れ味が増したブーメランみたいに戻ってきてるんですよねえ、とほほ。

ーーーーー
コンテキストウインドウ（英語を翻訳）
https://en.wikipedia.org/wiki/Context_window

大規模言語モデル(LLM)のコンテキストウィンドウとは、出力生成時にモデルが一度に利用できるテキストまたはその他のトークン化された入力の最大量のことです。

コンテキストウィンドウが大きいからといって、モデルがコンテキスト全体を均等に利用できるとは限りません。

「Lost in the Middle」では、Liu らは、関連情報が入力の最初や最後ではなく、真ん中に現れる場合、長いコンテキストタスクのパフォーマンスが悪化することが多いことを発見しました。

他のベンチマークでは、単純な検索を超えたタスクを使用して長いコンテキストの能力を評価しており、これには複数ドキュメントの質問応答、長い対話の理解、コードリポジトリの理解、構造化データの推論などが含まれます。
ーーーーー
状態空間
https://w.wiki/NuXP

状態空間表現は時間領域の手法であり、これを使うと複数の入力と出力を持つシステムをコンパクトにモデル化でき、解析が容易になる。

（以下は英語サイトから翻訳）

状態空間モデルは、経済学、統計学、コンピュータ科学、電気工学、神経科学などの分野で応用されています。

たとえば、計量経済学では、状態空間モデルを使用して時系列をトレンドとサイクルに分解したり、個々の指標を複合指数に構成したり、景気循環の転換点を特定したり、潜在的で観測されていない時系列を使用して GDP を推定したりできます。

多くのアプリケーションは、カルマンフィルタまたは状態オブザーバに依存して、過去の観測値を使用して現在の未知の状態変数の推定値を生成します
ーーーーー