phonno の検索結果:
PhonnoのCrop with AI機能の精度を改善した。この機能では、ボタンを押すだけで画像から得られる知識として重要な箇所を特定できる。実装としては、以下の記事のように、従来のCloud Vision APIをやめてGeminiを使うよう舵を切っていた。 daiiz.hatenablog.com 今回はGeminiに渡す際のプロンプトの調整を行った。その結果、特に写真に対する切り抜き領域の特定が安定した。熱海旅行での写真を例にいくつか紹介してみる。 ボトルを中心にして程…
…だけ与えても動くが、Phonnoでの研究知見では、文字での概要も一緒に渡すほうが回答精度が安定する傾向があったので今回もこの作戦を採用した。 ここからは、先日の熱海旅行で撮った写真の一部を用いた実験結果を紹介する。 daiiz.hatenablog.com 旅行中の食事のまとめ 2日間の写真フォルダのなかから抽出された食事情報 よく見ているなあ。 旅行経路の分析 出発地がわかる写真をフォルダに敢えて含めていないため、「不明」になっているのがミソ。常識的に考えると帰着地と同じと…
…の恩恵を受けた結果、Phonnoで生成されるフローチャートが安定してきた。リリース当初と比べて生成結果の文法エラーが減少し、さらに本質的な情報を捉える能力や表現力も向上している。画像知識からフローチャートを生成できるこの機能、Phonnoのキラーフィーチャーとして育てていけるかもしれない。 技術書典18に関する情報を構造化した様子 チャートのノードをクリックして検索できるようにしたら、これまた楽しい。ユーザーに検索クエリツリー（グラフ）を見せてあげている感じになる。リスト形式…
頭のなかで、開発作業を怠けていないかを見張られている。なんで手を動かしてないの〜って言われる。惰性であっても手を動かしていればなにか形になってきて、形が見えてくると今度は改良したくなる。こうやって生まれてくるなにかもある。
技術書典のオフライン参加を終えて、京都に帰ってきた。 新幹線ホームの自販機で作れるコーヒー。微糖にしてみた。 夜の京都駅は空いていた。急いで走っている人とゆったりしている人が半々くらい。 原稿の締切から無事に開放されたので、ここらしばらくは開発に力を入れていきます。
有明に来ています。 銀座 量平寿司 江戸前鮨 よい機会があって銀座でお寿司を食べた。青柳（バカ貝）に感動した。想像を大きく超えてきた。初めてGPT-4を触ったときくらいに驚いた。握りはもちろん、なめろうの姿にも感動した。赤貝も美味しかった。貝ってこんなに美味しかったのか...!! とても貴重な体験だった。 これは赤貝。コース終了後に追加でにぎっていただいた。 うにも格段に旨い。 技術書典18 前夜 明日は技術書典18のオフライン会場開催の当日。池袋サンシャインシティ 展示ホー…
京都に帰ってきた。 京都駅のスタバで技術書典のストアに原稿をアップロードした。
…だ。西方向にも積極的に移動していきたい。 広島駅 駅弁は夕飯にした。穴子飯は人生初かも？ 名古屋のひつまぶしも相当美味しかったけれど、こっちのほうがあっさりしていて食べやすくて好きかもしれない？ハマるかも。 よいライブでした。 Addiction Is All You Need 開発メモ Phonnoを使うと旅日記を書きやすくなるかもしれない。 円最密充填 → 六角格子（六角タイル） 六角形グリッドに関するガイド ～ ArcGIS Business Analyst ～：基礎編
こんばんは 本日の進捗 睡眠失敗中なので書いていく。 日記 昨日から書いていた機能が仕上がってよかった。マクドナルドのベーコンポテトパイのパッケージが変わっていた。たまたま？
睡眠失敗が続いていて眠い！！ 本日の進捗 なし。残念！ 日記 めっちゃコードを書いて、事務作業もした。技術書典のオフライン会場でのサークル番号を把握。完全手ぶらセットも申し込んでみた。テーブルクロスや値札などのブース設営グッズをいただけるらしい。楽しみ。
…ション作成を補助するPhonnoの機能。これまでは画像の理解のために Cloud Vision APIの Detect crop hints | Cloud Vision API | Google Cloud を使っていた。Phonnoにおいてこの注釈情報は、テキストと画像を使って画像を検索するための画像IMEで活用される。人間による手作業での範囲指定の手助けをしたい。 個別画像ページでの Crop with AI 機能 これまでの課題 クロップ領域決定の精度がイマイチ ほと…
いろいろ食べているうちに、商品の英語名称を読むほうがシンプルということに気付いた。推したいことをピンポイントで伝えている。それと同時に結構な情報が失われていることも見えてきた。 どかっとテリマヨチキンパン → Teriyaki Chicken これは情報量はほぼ同じ。マヨネーズ要素が欠落してしまって勿体ないが。 手巻きソーセージドーナツ → Sausage ドーナツであることを諦めたなと思ったが、たしかによく考えるとこれ一般的にはドーナツとは言わないないのかも。 ツイストサン…
…リズムを考えている。Phonnoやナッジグラフ構想で必要になってくると目論んでいるやつ。本質的ではないものの、あると実験が捗るパーツをClaude Codeがどんどん書いてくれるのでありがたい。実装の変更前後での検索結果を精査するためのレポーティング機能とか、CLIツールのオプションとか。ログ出力で表組みや絵文字を多用してテンションも上げてくれる。そもそも成功するかわからないプロトタイプの段階においては、多少作り方が荒くてもいいものは任せていけるといい。 Claude Cod…
Phonnoの思考フローチャートで番号付きリストが解釈されなくなっていた。Unsupported markdown: listと表示されている。当該ノードは step1["1. すり鉢でごまを荒めにする"] のように、いたって普通に記述されている。 「食べ方の手順」が描画されることが期待される Mermaid-jsのv11系での問題のようだ。 Markdown lists are not supported · Issue #6099 · mermaid-js/mermaid…
京都に帰ってきた。いい旅だった。ゴールデンウィークの後半戦はコードを書きます。頭が柔らかくなってアイデアの連想が止まらなくなっている。 Nudge Graph構想を進めていきたい。 ナッジグラフ（Nudge Graph）を設計・提唱したい。PhonnoやCosenseに蓄積された興味関心コンテンツと研究ノートを編み直し、LLM 時代の知的生産行動をいい感じにデザインできる気がする。— daiiz (@daizplus) 2025年5月4日
有給休暇 1日目 Phonnoの開発が捗った。画像の視覚情報からグラフを構築する「Visual Meaning Graph」機能を試作して、ドッグフーディングを開始した。 Visual Meaning Graph #Phonno pic.twitter.com/LQ3p6302Cm— daiiz (@daizplus) 2025年4月30日 検索結果や画像ページで生成される思考チャートをMermaidのコードとしてエクスポートできるようになった。Cosenseにコードブロック…
…otocolの仕様もPhonnoでざっくり読んだので裏側で起きていることも想像できるようになった。いよいよ実物を動かして挙動を観察していくフェーズに突入。 daiiz.hatenablog.com daiiz.hatenablog.com 下記のサーバーをREADMEに従って追加する。コードを読むと import { StdioServerTransport } from "@modelcontextprotocol/sdk/server/stdio.js"; で実装されてい…
…した。これまでのgpt-4oよりも視覚的に読み取れる情報が丁寧に描写されます。ここで生成（もしくは手書き）した説明文は検索インデックス構築時にも参照されるため、手厚く書くことでより探しやすくなります。 画像の特定の領域に関する説明の生成結果の例 Phonno’s visual explanation generator for images & annotations now runs on o4‑mini! 🖼️✨— daiiz (@daizplus) 2025年4月18日
…iniに更新した。 Phonno now supports o4‑mini! 🎉— daiiz (@daizplus) 2025年4月17日 長考型のモデルなので出力に時間がかかってもどかしいが、他のモデルと比べるとそれなりにポイントを抑えた端的な回答が得られる。薄い本『LLM時代の検索を考える観察日記』を収録したボックスにおける、クエリ「SGEの特徴は？」に対する答えの例を以下に示す。 o4-mini での回答（2025/4/18 時点） claude-3.7-sonnet…
…ァイルをPDF化してPhonnoに取り込んで読んだ。 github.com 気になる箇所をLLMに解説してもらいながら勉強を進めていける。 画像の領域を指定してAIに説明してもらう例。人間が説明を書くこともできる。検索強化のためにメタデータとしても使用される。 ソースコード中の型定義とコメントを駆使して思考チャートを作れる。 ResourceTemplate型の図解 サーバーの機能と通知に関するインターフェース定義のコード モデル選択に関するサーバーの優先度を示すコード クラ…
画像ページにおいて、関連画像リストに関する思考チャートも生成できるようになった。下図の例のように、論文の1ページ目でこの機能を実行することで、論文全体を通して重要な知識の概要を構造化できる。関連画像欄にはこの論文の他のページに加えて、別途収録したコンテンツがサジェストされており、これらを有効活用できる。 Related imagesに基づくフローチャート Claude Codeによるアピールタイム 今回のメイン実装担当者であるClaude Code氏のコメントです。 「Ask…
Phonnoの開発でClaude Codeを使い始めた。Dockerコンテナ内で動かせるので安心安全。明日からたくさん働いてもらうぞー！ Claude Code 起動成功 力試しとして、昨日の記事で紹介した機能の実装をソースコードから探して説明してもらった。だいたい合っている気がする。Box Descriptionと命名してしまったけれどClaudeが書いているBox Overviewのほうがいいな。 daiiz.hatenablog.com # Claude日記: Box …
Boxに収録されている画像ソースをざっくり理解して、概要を生成できるようになった。画像を新たにアップロードしたときや、雑多なテーマを扱っていて様々な切り口から書けそうなときは適当なタイミングで再生成される。 概要を書くためにLLMが一度に読めるコンテンツ量には限りがあるので、でかいデータセットの場合はランダムに選択している。無作為に選ばれた画像郡から新しい概要を作り、既存の概要とミックスする。この二段構えにすることで、過去の生成結果も適度に取り込みつつ新鮮さも得られていい感じ…
…画像のページ送りに対応した。Phonnoでは、PDFファイルがアップロードされたとき、各ページを画像に分割して保存している。この際にページ画像の順序を保持しているため、前後のページに移動できる。データ構造的には独自のドキュメントビューワを作るための下準備が整っている。あとは時間をみつけてイケているUIを書いていきたい。 気の向くままに検索してもっともらしい画像に着地したのち、周辺ページを読み進めて前提知識や関連情報を獲得できる。 移動時のガタツキもなるべく早くなんとかします。
NotebookLMにマインドマップ機能が追加されていた。 Phonnoで研究開発中の思考フローチャート生成も負けていられないな！ daiiz.hatenablog.com グーグルに先駆けて似たものを出せていたのは先見の明がある感じがしてなんか嬉しい。
…geが全部コピーされて時間がかかった。もはや参照されていない古いやつは予め消しておけばよかった。2022年の懐かしいimageも出てきた。 対応完了した。「今日の日付」画像、点描画変換ツール、miilClient、Phonno、Chronicle、Snapshot machineなどがすべて救われた。めでたしめでたし。 Container Registry時代の *gcr.io のURLを引き続き使えるのはありがたい。ビルド設定やデプロイパイプラインを直し始めると大変すぎる。
PDF文書の入力に対応しました。ファイルを選択するだけで、全ページが自動で画像化されてPhonnoに取り込まれます。 つぎは、対象の題材をとことん読んで理解するための支援機能を作りたい。せっかくLLMという最強の武器を手に入れたのだから、概要を雰囲気で把握するのではなくて、完全に納得できるまで寄り添ってくれる文書・画像ビューワを目指したいところです。超検索型ドキュメントビューワ。
検索画面の画像リストのSkeleton loadingを実装した。これまでは画像リストの初期高さが0pxであったため、画像の読み込み完了前後でガタツキ（レイアウトシフト）が大きかった。全体的にだいぶ良くなった。あとは説明文とキーワードサジェスト領域も同じように対応できたら完璧だ。 Chrome Dev Toolsで Slow 4G 回線をシミュレーションした様子。 おまけ 個人開発のGitHubリポジトリにGemini Code Assistをインストールおり、AIにコードレ…
表題の通り、キーワードの解説が生成されるパネルに、関連用語や関連概念を示すフローチャートが表示されるようになりました。Ask the Flow機能の発展形です。現状ではリアルタイムで生成するため少々時間がかかりますが、生成結果の保存と再利用の仕組みを（AIが）実装中なのでそのうち爆速になります。 Bigtableに関する知識整理の例 daiiz WikiでのChatGPTに関する説明の例（デモ） その他のアップデート 画像配信: 大量のサムネイル画像が読み込まれる検索画面が安…
Phonnoでの思考フロー生成（Ask the Flow）機能が誰でも使えるようになりました🎉 検索画面と画像プレビュー画面でフローチャートを生成できます。 API料金の都合でこれまではログインしているユーザーのみに開放していましたが、今日からはログイン状況に関わらず利用できます。ボックスの編集者だけでなく、検索専用ビューの利用者にも触ってもらえるので嬉しいです！ GPT-4o, o3-mini, Claude 3.5 Sonnet と試してきましたが、精度はそこそこ満足でき…
