GPUを使う用途をセルフホストできる？

現在、運用している、またはしようとしている中でGPUが使用できるものとして、以下のソフトがあります。

• Jellyfin
• immich

どちらも、エンコードや機械学習とかで使うやつです。 今自宅鯖に刺さっているGPUはNVIDIA GeForce GTX 1630 で、Turing世代の一番下のモデルですが、メモリは4GBあり、ある程度のことになら使えます。 では、もしAIをセルフホストするとなると…？ 私はあらゆることをセルフホストしたいと考えており、生成AIも例外ではありません。 ChatGPTやGrokなどといったAIは、サブスク料金が非常に高く（月1万もする）、自宅鯖の電気代を余裕で越します。ならAIもセルフホストしてしまおうというわけです。 しかしAIもセルフホストするとなると、多めのビデオメモリのGPUを使用しないといけません。しかも、それらは中古市場でも高い傾向があるため、今の私ではどうしようもできない…