SCM（Screen Memories）は、ユーザーのデバイス上で完全にローカルに処理される人工知能を使用して、個人の写真やビデオコレクションを検索できるmacOSアプリケーションです。このツールは、『macOSの任意のフォルダー内のすべての写真およびビデオフレームに対する深層AI検索』を提供すると自説しており、初期設定後にアカウント、クラウドアップロード、インターネット接続を必要としないローカルファーストアプローチを採用しています。 # Core Functionality このアプリケーションは、インターフェースを通じてアクセス可能な5つの異なる検索モードを提供します。 - **Files Mode**: 意味的意味に基づいて写真とビデオ全体を検索し、ビジョンモデルのランキングとファイル名およびフレーズブーストを組み合わせます。 - **Scenes Mode**: ビデオを個々のシーンにセグメント化し、埋め込むことで、ユーザーが特定の瞬間を検索し、対応するタイムコードに直接ジャンプできるようにします。 - **OCR Mode**: Tesseractを使用して画像およびビデオフレーム内の可視テキストに対して光学式文字認識(OCR)を実行し、英語および35の切替可能な言語をサポートします。 - **Dialogue Mode**: Whisper音声認識を使用してビデオ内の話された言葉をExactにリテラル取得し、結果はExactな行、Exactな単語、および話された言葉の階層に分類されます。 - **LLMs Mode**（オプトイン）: llama.cppを通じたローカル言語モデルを使用して、抽出されたコンテンツ（対話、OCRテキスト、ファイル名）について会話形式の質問を可能にし、引用付きの回答とストリーミングトークン出力を提供します。 # Technical Implementation SCMは、一度ダウンロードされた後完全にオフラインで使用される複数のAIモデルを採用しています： - 画像およびシーン理解のためのビジョンモデル（CLIP ViT-L/14@336およびSigLIP-2バリアント間で切り替え可能） - 音声転写のためのWhisper（tiny.enまたはbase.enモデル） - 多言語サポート付きの光学式文字認識のためのTesseract - オプトインチャット機能のためのLlama.cpp このアプリケーションは、メディアファイルのコンテンツベースのハッシュ（SHA-256）を作成して名前変更に強い重複排除を可能にする検索可能なライブラリを構築します。ビデオ処理では、ユーザーが設定可能な密度でショット境界を検出するためにffmpegのスキャンを行い、各セグメントの中間フレームを検索用に埋め込みます。 # Privacy and Accessibility プライバシーを核心原則として設計されたSCMは、『あなたのメディアは決してマシンから離れない』ことを保証します。すべてのAIモデルの重みは、信頼できるソース（Hugging Face、GitHub）から一度ダウンロードされ、その後はオフラインのままです。レンダラーは、コンテキスト隔離と、表示のためにGoogle Fonts CDNへのフォールバックを伴う'self'に制限されたコンテンツセキュリティポリシーを持つ、サンドボックス化されたapp://バンドルとして動作します。Apple Silicon MacでmacOS 12+を実行している場合、Homebrew経由でインストールが可能で、caskは自動的に隔離フラグをクリアします。このアプリケーションはElectron、React、およびBunを使用して構築されており、ソースコードはオープンソースライセンスの下でGitHubから入手可能です。 # User Experience 機能には、タブとして保存された検索クエリ、キーボードショートカット（⌘1-⌘5）経由でアクセス可能な意味ビュー、および実行前に選択されたカテゴリーに検索を範囲限定するスマートタブフィルタリングが含まれます。インターフェースは、検索結果に対する視覚的なフィードバックを提供し、『なぜ一致したのか』バッジやスコアの内訳を示すホバーツールチップを含みます。ビデオ結果の場合、ヒットを開くと再生インターフェイスで特定された瞬間に直接ジャンプします。
この画像はプロジェクトのオンラインでの存在を表し、オープンソースのmacOS向けローカルAI検索アプリケーションとしてのSCMの説明と一致します。
この画像は、Core Functionalityセクションで説明されている検索モードを示し、ユーザーがさまざまなAI搭載検索タイプを選択できる方法を示しています。