SCM (Screen Memories) es una aplicación de macOS que permite a los usuarios buscar en sus colecciones personales de fotos y videos utilizando inteligencia artificial, todo procesado localmente en el dispositivo del usuario. La herramienta se describe a sí misma como que proporciona 'Búsqueda de IA profunda para cada foto y cada fotograma de video en cualquier carpeta de macOS' con un enfoque local primero que no requiere cuentas, cargas en la nube ni conectividad a internet después de la configuración inicial. # Funcionalidad principal La aplicación ofrece cinco modos de búsqueda distintos accesibles a través de su interfaz: - **Modo Archivos**: Busca fotos y videos completos por significado semántico, combinando clasificaciones de modelos de visión con impulsos de nombre de archivo y frase - **Modo Escenas**: Segmenta los videos en escenas individuales e inserta embeddings, permitiendo a los usuarios buscar momentos específicos y saltar directamente al tiempo correspondiente - **Modo OCR**: Realiza reconocimiento óptico de caracteres en el texto visible dentro de imágenes y fotogramas de video utilizando Tesseract, con soporte para inglés además de 35 idiomas activables - **Modo Diálogo**: Proporciona recuperación literal exacta de palabras habladas en videos usando Whisper de speech-to-text, con resultados categorizados en niveles de línea exacta, palabras exactas y palabras habladas - **Modo LLMs** (opt-in): Permite realizar preguntas conversacionales sobre el contenido extraído (diálogo, texto OCR y nombres de archivo) utilizando un modelo de lenguaje local mediante llama.cpp, con respuestas citadas y salida de tokens en streaming # Implementación técnica SCM emplea múltiples modelos de IA que se descargan una vez y luego se utilizan completamente sin conexión: - Modelos de visión para comprensión de imágenes y escenas (alternables entre CLIP ViT-L/14@336, variantes de SigLIP-2) - Whisper para transcripción de voz (modelos tiny.en o base.en) - Tesseract para reconocimiento óptico de caracteres con soporte multilingüe - Llama.cpp para la funcionalidad de chat opcional La aplicación crea una biblioteca buscable mediante la generación de hashes basados en contenido (SHA-256) de los archivos de medios para permitir deduplicación resistente a renombres. El procesamiento de video implica un escaneo con ffmpeg para detectar límites de tomas a densidades configurables por el usuario, con el fotograma central de cada segmento integrado para la búsqueda. # Privacidad y accesibilidad Diseñada teniendo la privacidad como principio fundamental, SCM garantiza que 'tus medios nunca abandonan la máquina.' Todos los pesos de los modelos de IA se descargan una vez desde fuentes confiables (Hugging Face, GitHub) y permanecen sin conexión después de eso. El renderizador funciona como un paquete app:// aislado con aislamiento de contexto y una política de seguridad de contenido restringida a 'self' (con respaldo de CDN de Google Fonts para la visualización). La instalación está disponible mediante Homebrew para Macs con Apple Silicon que ejecutan macOS 12 o superior, y el cask elimina automáticamente las flags de cuarentena. La aplicación está construida utilizando Electron, React y Bun, con el código fuente disponible en GitHub bajo una licencia de código abierto. # Experiencia de usuario Las características incluyen consultas de búsqueda guardadas como pestañas, vistas semánticas accesibles mediante atajos de teclado (⌘1-⌘5), y filtrado inteligente de pestañas que limita las búsquedas a categorías seleccionadas antes de ejecutarlas. La interfaz proporciona retroalimentación visual sobre las coincidencias de búsqueda, incluyendo insignias 'por qué coincidió' y sugerencias emergentes que muestran desgloses de puntuación. Para los resultados de video, al abrir un hit se salta directamente al momento identificado en la interfaz de reproducción.
Esta imagen representa la presencia en línea del proyecto y coincide con la descripción de SCM como una aplicación de macOS de código abierto para búsqueda local de IA.
Esta imagen ilustra los modos de búsqueda descritos en la sección de Funcionalidad principal, mostrando cómo los usuarios pueden seleccionar entre diferentes tipos de búsqueda potenciados por IA.