HaCI(Harmonic Contour Integration)アルゴリズムは、生物の視覚プロセスを模倣することで、RGB画像からエッジを抽出するコンパクトな手法を提供します。RenderBearによって開発されたこのアルゴリズムは、ピクセルレベルのコントラストから高解像度のリッジ・バックプロジェクションへと移行する分散パイプラインを通じて画像を処理します。これは、BRINDやBIPEDといったベンチマークにおいて、生物学的な妥当性と測定可能なパフォーマンスのバランスを保ちながら、標準的なエッジ検出に対する特化した代替手段を提供します。

エッジ検出分析に使用される入力RGB画像の例。
構造的な輪郭を抽出するためにHaCIアルゴリズムによって処理される入力画像の例。github.com

この画像は、HaCIアルゴリズムが4段階のパイプラインを通じて処理するRGB入力データの代表的な例です。

4段階のパイプライン

アルゴリズムはL0ステージから始まり、各ピクセルを学習された輝度/色度メトリックを用いて周囲の8つのピクセルと比較します。このコントラストは局所的な空間コントラストプールで除分され、ピクセルごとのハーモニック・フィールドを生成します。L1ステージでは、これらのハーモニクスが疎なセルグリッド上の重複するパッチにわたって合算され、方位調整された応答を生成します。

「Seed」ステージでは、Naka–Rushton利得制御やアソシエーション・フィールドといった生物学的原理を適用します。このステップでは、輪郭に沿った隣接セルに基づいて応答をスケーリングし、フランク抑制を使用して平行な輪郭を分離します。このプロセスにより、孤立したエッジは保持される一方で、テクスチャや格子状の模様は減衰されます。最後に、「Render」ステージでは、学習された1Dカーネルを使用してこれらのセル応答をフル解像度へとスプラット(投影)し、ソフトな境界マップを生成します。

「RGB画像から4つのステージを経てエッジを抽出する、コンパクトで完全に分散されたアルゴリズム:」

— GitHub - RenderBear/haci: A compact, fully distributed algorithm that extracts edges from RGB images

ベンチマーク・パフォーマンス

HaCIは、異なる不連続タイプの種類ごとに再アノテーションされた200枚の画像で構成されるBRINDテストセットで評価されました。アルゴリズムのNMSで間引いたマップは、ODS(Optimal Detection Score)0.7179と精度(Precision)0.6791を達成しました。レンダラーによって生成された生のソフトマップは、わずかに低いODS 0.7158を示しました。

画像から検出されたエッジと輪郭の可視化。
HaCIアルゴリズムのリッジ・バックプロジェクションおよび間引きステージによって生成されたエッジマップ。github.com

この図は、抽出されたエッジと輪郭を示すHaCIパイプラインの最終的な出力を表しています。

BRINDテストセットにおけるHaCIのパフォーマンス(NMS間引きマップ):ODS 0.7651; 精度 0.6791; 再現率 0.7614; AP 0.7402
BRINDテストセットにおけるHaCIのパフォーマンス(NMS間引きマップ)github.com

github.comで報告された数値からHN Digestによって作成されたチャート。数値はソースに記載されている通りです。

このプロジェクトは、BIPEDおよびNYUDv2データセットでのテストもサポートしています。NYUDv2データセットについては、BRINDおよびBSDS500ベンチマークで使用される厳格な0.0075の許容範囲と比較して、グラウンドトゥルースの局所化がそれほど正確ではないことを反映し、一致距離0.011を使用して評価が行われます。

ハードウェアの効率とトレードオフ

このアルゴリズムは、特にAppleのMetal Performance Shaders(MPS)において効率的な実行を実証しています。1920x1080の解像度では、システムは233 MBのホストメモリと2.2 GBのGPUメモリを必要とし、459 msで推論を完了します。レンダラーのスプラットおよびグラジエント操作は、CPUパスとの一貫性を確保するためにMetalカーネルとして実装されています。

生のソフトマップとNMSで間引いたマップの間には、主要なトレードオフが存在します。間引いたマップはノイズを除去することで精度と再現率を向上させますが、生のマップは連続的な境界表現を提供します。ソースでは、最先端の生物学的着想に基づかないディープラーニングモデルとの直接的な比較は提供されておらず、代わりにHaCIパイプラインの内部的な一貫性に焦点を当てています。