phonno の検索結果:
先日Phonnoの検索画面に導入した「Ask the Flow機能」を画像そのもののページでも使えるようにしてみた。 daiiz.hatenablog.com 下記のようなスクリーンショット*1をPhonnoにアップロードすると、LLMが画像に書かれていることを理解して、物事を考えるための手順をフローチャートで表現してくれる。 記事のスクリーンショットの例 画像の関連データを掲載するセクションでチャートが生成される。 生成されるフローチャートの例 GPT-4o, o3-min…
Phonnoの開発進捗や今後の展開のアイデアを書く場所として、Discordのサーバーを作った。仕事やプライベートでDiscordを使う機会が少ないので流行りのツールに触れるという意味合いも込めて。Discord Botの開発とかも作ってみたい。 discord.gg Phonnoと似た領域で人気のあるサービスの観察もやっていく。 技術同人誌の原稿になる前の姿のメモたちも共有していきたい。昨日紹介したFlowchartの生成など、費用がかかりすぎる実験的な機能を限定公開するた…
Phonnoの「Ask the Flow」機能をリリースした。画像郡に含まれる知識からフローチャートを自動生成して理解を助けてくれる。背景情報の関係性を把握したり、大きめの問題を適度に分解して考えることができる。完璧ではないものの第一歩を踏み出せた感じはする。自分のボックスにログインしていれば使えます。 daiiz.hatenablog.com かなりトークンを消費する機能になってしまい、久しぶりにOpenAI APIの利用量が増加して驚いている。単価がかなり安くなったGPT…
昨日のFlowchartLMの話の続き。Ask the Flow機能の試作ができた。Joel on Software 日本語訳の一部の記事を取り込んだボックスで検索してみる。 理想の開発チームとは？ ノードやサブグラフをクリックすると、そのトピックに関してさらに深堀りして検索できる。検索キーワードを超えて、検索コンテキストの生成ができるかもしれない。 ほかにも、Helpfeel社のCosenseを一部公開のCosenseでも試してみる。ノードの関係性の表現はまだまだ改善の余地…
思いつく限りの「〇〇LM」を試作している。これは単体では面白くない。Phonnoに融合するのは良さそうかも知れない。 明日の面談の資料を書かないと。
Phonnoを理想の姿に近づけていく - #daiizメモ の補強メモです。未来の自分のための設計メモ。2025年1月バージョン。 類似度順にソート済みのsimilarImagesが与えられたとき、ちょうどいい弱さの関連度合いの画像をひとつ選定するための数式。seedImageIdsは、基本的に、試行回数tに対する増加関数。 similarImages.splice(0, skipLen); const idx = Math.floor(Math.random() * sim…
眠さが残る火曜日 Phonno 昨日に続いて、検索画面の「Load more」ボタンの挙動を改善した。検索ボックスの内容（seed query）とほどよく関連している画像を優先して返すことで、弱い類似画像（強くない類似画像）を探すことが可能になった。継ぎ足しボタンを押すだけで遠くに連れていきたい。遠くに行きつつも、seed images, seed keywordsの遺伝子は残したい。 さらに、Load moreで気になる画像を見つけたら検索キーワード（キーイメージ）として追…
…んも来てくれます！ Phonno 検索画面の「Load more」ボタンを改善した。これはBox内のコンテンツをくまなく触れてもらうための仕掛けで、クリックすると画像がランダムに継ぎ足し表示される。 これまでは新たに読み込まれた画像群に関する概要を動的に生成していた。これがめちゃくちゃ遅くて嫌だった。遅いわりにさほど読んでいなかったので思い切って廃止した。代わりに画像のタイトルなどの事前生成されている情報が提示される。この機能はSNSのタイムラインのようにサクサク動く方がいい…
…稿ボタンを押せる。 Phonno 検索チャット機能のプロンプトを調整した 自分のWikiのデモで、本名を間違えられてしまったので見逃せなかった 継ぎ足しを繰り返して長く深くなっていき、秘伝のタレ化している 「グローバルなタイムライン」機能を実装した Boxを横断して検索チャットでのAIによる回答が流れてくる場所 AIだけが活動するSNSのような見せ方を模索中 知的好奇心を刺激するストリームを自動生成できるのではないか Boxごとに機能を有効化する必要あり UIは9割くらいAI…
Phonnoの使い方や新機能を紹介する動画を撮り始めました。YouTubeに投稿していきます。第一弾は、検索箱を作って画像をアップロードする基本操作の解説です。Google Meetで画面共有して録画しただけですが、それっぽく仕上がっていてよさげです。ひとり収録を盛り上げるためにAIが合いの手を入れてくれるようになるといいですね。 Phonnoの使い方の動画を撮ってみた #Phonnohttps://t.co/sjSfdLXjPC— daiiz (@daizplus) 202…
…長期かもしれない。 Phonnoの開発 画像にざらざらノイズフィルターを適用してみた。SVGのfeTurbulenceタグを初めて使った。Phonnoでは扱われる題材としてスクリーンショットが多く、背景が白い画像が頻出しがちになっている。結果としてグリッドレイアウト領域が全体的に眩しくなってしまう。これまではCSSのフィルターで filter: saturate(0.9); して誤魔化していたが、薄暗くくすむ感じが好きじゃなかった。そんななか、冒頭のノイズフィルターの実装を紹…
今日も一日中寒かった。寒いと言うよりも冷たいと感じる。朝早くから夜遅くまで仕事をしていた日だったので特筆すべきことはない。また明日！ Phonnoの開発 最近、Boxのタイトルを左寄せにした。中央揃えるよりも大人っぽい見た目になったかな？ daiizのWiki 複雑GUI会のWiki
…れは嬉しい。 本日のPhonnoの開発 Windowsでのデザイン崩れの修正。Surface Laptopの実機を使って動作確認しながら直した。スクロールバーの太さやフォントの違いで余白が狂いがち。日頃はmacOSで勢いよく開発して、月に2回くらいのペースで色々なデバイスでUIの定期検診をしている。 エンティティの概要セクションに、説明の根拠となった参照元の画像をランダムで表示してみた。無駄な余白ができてしまったけれど、いまに始まったことではなく、すでに他のコンポーネントも贅…
Phonnoに新機能「ほかの〇〇」を実装した。注目しているエンティティと同じ型のデータを列挙できる。プロジェクトに収録された画像をマルチモーダルなLLMで事前解析しており、人間は特に何もしなくてもそれらしく整理される。 エンティティ「MIT」と同型の「大学」データがリストアップされている様子。クリックするその大学名で検索できる。これらのカードには何を表示するべきか。 Phonnoの全プロジェクトに適用済みだけども、提示するコンテンツの精度はまだ自信がないのでワンクリック先に隠…
今年はPhonnoをプロダクトとして仕上げたい。とは言ってもキラーフィーチャー*1の開発はまだまだ続く。LPも整えたい。サービス名も考え直す必要がある。撮り溜めた写真 (Photo) を気楽にアノテーション (Annotation) できて探しやすい、フォトアルバムとブログの中間の存在を狙って進めてきたけれど、いまでは日常写真を超えて、書籍や画面のスクリーンショットを含めた汎用的な画像を扱える。ときには「写真とスクリーンショットからの知識抽出システム」とも呼べるようにもなって…
…アイデアの位置づけ。Phonnoでもまだやりたいことは多くて絶賛開発中のフェーズだけど、今回のやつは上位互換になってしまうかもしれないので棲み分けも考えていきたい。微妙に方向性が違うので悩ましい。「例のあれ」はまだ詳細には書けないけれど、あれです。 Phonnoと例のあれの2歩くらい先に行けたのではないか— daiiz (@daizplus) 2024年12月14日 情報検索同好会でのアイデアの系譜。矢印の先端位置は、末端のアイデアの見込み到達点。 ここまで来れたので、なるべ…
…うになっていたので、Phonnoでもモデルの選択肢に含めておきました。最新モデルの威力をフル活用するためにプロンプトの調整も必要になりそうだけど、まあとりあえず。スピード感をもって遊びながら考えていきましょう！ gemini-2.0-flash-exp 対応済み！ #Phonno pic.twitter.com/vigzrqHzeg— daiiz (@daizplus) 2024年12月11日 Cosense /daiiz を題材にした #Phonno のデモで gemini…
…ところですが、今日はPhonnoの新機能の話です。Phonnoは自分の写真やスクリーンショットを題材としてRAG（Retrieval Augmented Generation）できるシステムです。楽しく情報探索できる場所を作りたくて色々試しています。LLMを活用した検索アルゴリズムと雑誌感のあるUIを組み合わせて研究しています。 daiiz.hatenablog.com 今回実験的に実装したのは、検索クエリに関する4択クイズの自動生成機能です。LLMによる問題を解きながら理解…
…したRAGシステム「Phonno」 脳内サークル 情報検索同好会 での取り組みのひとつ https://scrapbox.io/daiiz/Phonno 名前の由来は Photos + Annotations Phonno史（前編） 2年くらい細々と個人開発を続けてきて知見が溜まってきている。ここまで長期なプロジェクトは自分にしては珍しいので歴史を簡単に振り返っておきたい。 自分のための写真検索システムとして開発開始 Google Photosの写真を取り込んでスタート 写真…
