#daiizメモ

ときどきいいことを書きます

San FranciscoでHack Nightに参加した

ElasticsearchとMastraのAgent Memory Hack Nightイベントに参加した。サンフランシスコの中心部、Elasticのオフィスでコードを書く実績を解除した。テーブル、ソファ、ドリンク、お菓子がある空間を自由に使っていいよと言われてテンション上がった。長期記憶を持った簡単なAI Agentを設計した。

Welcome Elasticians

あらかじめ用意されていたリポジトリを改良しながら進める形式。テキストブックを読みながらコードを書いていけばよいので、英語が苦手でも参加しやすい。いつも通りエンジニアっぽく振る舞っておけば普通に楽しめる。仕事や趣味で作っているAgentic RAGシステムの話とか、面白いアイデアだね、進捗どう?とか、電源借りていい?とか話したり、そのSpriteどこにあった?とか聞かれたりと、気さくなコミュニケーションが自然発生するので場に馴染みやすい。

用意されていたリポジトリは検索の仕組みがすでに完成していた。ES|QL(Elasticsearch Query Language) 一本でキーワード検索と意味検索を並列に走らせて(FORK)、混ぜて(FUSE)、古い記憶のスコアを下げる(DECAY)。Mastra側ではこれがrecallというツール1つになっている。やることはデータと減衰の設計に絞られていたので、実際にクエリを投げて観察しながら進めた。

自分の個人開発プロジェクトの技術遍歴と意思決定のメモ(テスト用の架空の情報も含む)を流し込んで、すぐに変なことがおきた。減衰が全部の記憶に同じ強さで掛かっている。

170日前: 検索バックエンドとしてMongoDBを採用   -> 沈んでほしい
170日前: MongoDBを使った経験がある   -> 沈んではいけない

検索バックエンドをMongoDBからElasticsearchに置き換えたという歴史があるとき、上は上書きされた決定なので古びる。下は経歴なので古びない。「古い」と「もう正しくない」は違う話なのに、区別する術が考慮されていなかった。

そこで軸を1本足した。typeが「それが何か」を表すのに対して、temporal_classが「それがどう古びるか」を表す。

replaceable  上書きされうる状態や決定      半減期45日
ephemeral    今しか意味がない文脈          半減期7日
durable      一度成立したら真である事実    減衰しない

実装はES|QLにCASEを2つ足すだけ。データ側では、状態と事実を別の記憶として保存するルールにした。「MongoDBがメイン」と「MongoDBを使ったことがある」は同じ出来事から生まれた別の命題なので、1件にまとめてはいけない。

途中で躓いた。DECAYは既定が線形で、ウィンドウの2倍の時点で 0 になり以降ずっと 0 だった。45日窓なら90日より古い記憶は重みが 0 になる。結果に出てこないし、古いもの同士の順位もつかない。欲しいのは「負ける」であって「消える」ではない。上書きされた古い状態が見えていないと、エージェントは「以前はMongoDBだった」と説明できない。代わりに exp を指定することで、0.5経過/窓 になって、45日ごとに半分ずつ減っていく。170日で 0.073。小さいが 0 ではないので、消えずに順位がつく。

「メインの検索バックエンドは?」の結果

順位 クラス 経過日数 base_score weight final_score 記憶
1 replaceable 3日 0.0325 0.9548 0.0311 現在: Elasticsearch
2 durable 170日 0.0303 1.0000 0.0303 durable: MongoDBでの開発経験
35 replaceable 170日 0.0320 0.0729 0.0023 古い決定: MongoDBがメイン

1位と35位は関連度ではほぼ同着。時相の型(temporal_class)が順位決定に効いている。2位は35位と経過時間が同じ170日なのに重みは 1.0。同じ古さで扱いだけが違う。

デモ用にモデルと設定を同一にしたエージェントを3体用意した。記憶なし、一律減衰、クラス別減衰。「メインの検索バックエンドは?」は一律減衰でも正解する。差が出たのは「自分はMongoDBを使ったことがあるか?」で、一律減衰は「記録は見つかりません」と答え、クラス別減衰は経験ありと答えた上で現在のバックエンドとは区別した。同じインデックス、同じ質問、同じモデル。重み付けの意味論だけが違う。

「MongoDBを使ったことがあるかどうか」の結果

一律減衰のエージェントでは、170日前の記憶は重みが 0.073 まで落ちて上位から外れてしまい、MongoDBの利用経験を見つけられない。また周辺の歴史的な文脈もヒットしにくくなっているせいで、一般論を喋り出している。

今回のチューニングを入れると、同じ記憶が重み 1.0 のまま1位(final_score 0.0328)で返ってくる。170日という経過日数は何も変わっていない。重みが 0.073 から 1.0 になっただけで、答えが「記録がない」から「経験がある」に変わった。さらに993日前の出版イベントのような記憶も、一律減衰なら重み 2.3e-7 まで落ちるが、durableなら 1.0 のまま残る。

最終的には、追加したのはフィールド1つ、CASE 2つ、環境変数 2つをチューニングした。LLMに長期記憶を持たせるというのは、覚えさせる仕組みに加えて、何をどのように忘れさせるかが重要であることを体験できる良いテーマだった。あとでリポジトリを公開したい。