最終的なピクセル配列を生成する従来のAI画像生成ツールとは異なり、Kladはすべての筆跡、筆圧、色を永続的なデータとして扱います。この設計により、コーディングエージェントは数千の個別のストロークで「芽のクリーチャー」を描くといった特定のコマンドを実行でき、同時に人間のユーザーはエディタに現れるストロークを観察しながら、口の曲線や葉の色といった特定の要素を手動で調整することができます。

データ駆動型ペインティング vs. ピクセル生成

ほとんどのAIアートツールは、フラットな画像を生成する仕組みであり、反復的な修正を行うにはプロンプトを「再生成」するしかありません。Kladはこのパラダイムを転換し、ユーザーのコンピュータ上に、描画をストロークと形状の集合として表すプレーンなファイルのフォルダを維持します。

描画がデータであるため、コーディングエージェントはCLIを使用して「klad stroke art.klad l4 --brush oil」のような特定の操作を実行できます。これにより、エージェントは共有履歴に貢献することができ、すべての変更は人間のパートナーによって取り消しや修正ができる個別のステップとなります。

ターミナルウィンドウと、芽のクリーチャーがレンダリングされ編集されているペインティングエディタを分割表示したビュー。
Kladのワークフローは、人間がエディタでリアルタイムの調整を行う一方で、エージェントがコマンドラインを介してクリーチャーを描画する様子を示しています。github.com

このビジュアルは、コーディングエージェントがストロークを生成するためのコマンドを実行し、人間がエディタでその結果のデータを操作するというアプリケーションの核となる概念を説明しています。

「画像生成ツールはピクセルを渡すだけで、残された編集手段はサイコロをもう一度振ることだけです。kladはすべてのストロークと塗りつぶしをデータとして保持します。それがどこへ向かったか、どれほどの強さで押されたか、そのブラシと色までです。」

— GitHub - klad-app/klad: A drawing app built for agent/human collaboration

人間とエージェントのインタラクションワークフロー

協調ワークフローは、対話的かつ視覚的に設計されています。ユーザーはエージェントにランタンのような特定のオブジェクトを描くよう指示でき、エージェントはそれをレンダリングするためのコマンドを実行します。結果がわずかに不正確な場合、ユーザーはキャンバス上にノートを「ピン留め」してエージェントに具体的なフィードバックを与えたり、あるいは直接ブラシを手に取ってストロークを手動で修正したりすることができます。

フードを被った旅人がランタンと小さな芽のクリーチャーを持っている夜のシーン。
Kladのデータ駆動型ペインティングアプローチを使用して作成された完成したシーンで、旅人と芽のクリーチャーが描かれています。github.com

この画像は、ツールの協調ワークフローを通じて達成可能な芸術的な成果の具体的な例です。

このシステムは、レイヤー、マスク、クリッピングなどの複雑な芸術的機能をサポートしています。塗りつぶしのような高度な効果でさえもストロークとして扱われます。ユーザーが塗りつぶしを移動させると、ソフトウェアは基礎となるレイヤーとペイントがどのように混ざり合うかを再計算し、作品の芸術的な整合性が保たれるようにします。

ゲーム開発とアニメーション

Kladには、タイムライン、オニオンスキン、逆運動学(IK)を備えたボーンリギングを含む完全なアニメーションスイートが含まれています。これはゲームアセット向けに特別に調整されており、ユーザーはキャラクターや小道具を作成し、スプライトシートとして、またはSpriteFramesとして直接Godotにエクスポートすることができます。

チェスト、木箱、樽、および様々なファンタジーアイテムを含む12個のゲーム用プロップのコレクション。
Kladで作成されたゲーム用プロップのセットで、ゲーム開発およびアセット作成における有用性を強調しています。github.com

この画像は、ゲーム開発に対するツールの特定の最適化と、エクスポート可能なアセットを生成する能力を実証しています。

アニメーションにおいて、このツールはキーフレームの描画から「中間フレーム」を生成できます。足が地面を突き抜けないといった物理的な整合性をチェックし、元のストロークデータを維持しながら完成したクリップをエクスポートします。

現在の制限と利用可能性

このプロジェクトは現在初期段階にあり、ユーザーはソースからビルドする必要があります。macOSのペン圧とチルトをサポートしていますが、Linux版は現在マウス入力がデフォルトとなっており、Windowsのサポートはまだテスト中です。

このソフトウェアは現在、スナップ、グリッド、SVGのインポート/エクスポートなど、いくつかの標準的なイラスト機能が不足しています。ソース公開ライセンスで提供されており、個人利用および年間売上高が50万ユーロ未満の企業は無料で利用できます。

Hacker Newsの読者の反応

  • 疑問: あるコメント投稿者は、このツールが単にエージェントにSVGコードを生成させることとどう違うのか疑問を呈しました。 コメント ↗
  • 体験談: ツールをテストしたユーザーは、ペインティングのためのLLMの開発は初期段階にあるものの、そのプロセスはここ数年のAIコーディングの進化と似ていると報告しました。 コメント ↗
  • 体験談: 開発者は、複雑なシーンの生成にはAIによる作業時間が10分から15分かかる場合があり、これはモデルが中規模なアプリケーション機能をコーディングするのにかかる時間と同等であると述べました。 コメント ↗
  • 懐疑的: あるコメント投稿者は、すべての筆跡を個別のデータとして扱うことは、トークンコストが非常に高くなる可能性があるという懸念を表明しました。 コメント ↗

Hacker Newsのスレッドで出た意見の要約です。事実として検証されたものではありません。 議論の全文を読む ↗