Nyílt forráskódú Python könyvtár multimédia feldolgozáshoz

Első lépések a GStreamer-rel

Ahhoz, hogy elkezdje használni a GStreamer-t Pythonban, telepítse a magkönyvtárat és a Python kötéseket. A legegyszerűbb módszer a pip használata: `pip install pygobject`, és győződjön meg róla, hogy a rendszercsomagok, például a `gstreamer1.0`, telepítve vannak. Fejlesztéshez klónozza le a hivatalos tárolót a [gstreamer GitHub](https://github.com/GStreamer/gstreamer) címről, és építse fel forrásból a Meson segítségével. A GStreamer támogatja a Python 3.8+ verziót, és integrálódik a főbb Linux disztribúciókkal, a Windows-szal és a macOS-szal. A telepítés után programozottan felépíthet média csővezetékeket Python objektumok és metódusok használatával, lehetővé téve a multimédia alkalmazások gyors prototípus-építését.

pip install pygobject
# On Ubuntu/Debian: sudo apt install gir1.2-gstreamer-1.0 gstreamer1.0-plugins-base
# On macOS: brew install gstreamer pygobject3

Média csővezetékek építése Python segítségével

GStreamer csővezeték-architektúrája lehetővé teszi a fejlesztők számára, hogy források, szűrők és nyelőelemek (sinkek) láncolásával médiafolyamokat dolgozzanak fel. Python használatával programozottan létrehozhatja, konfigurálhatja és vezérelheti ezeket a csővezetékeket. Az elemek pad-ek (csatlakozók) segítségével kommunikálnak, és támogatják a dinamikus összekapcsolást, ami lehetővé teszi összetett munkafolyamatok, például átkódolás, felvétel vagy élő közvetítés megvalósítását. A Python kötés hozzáférést biztosít a teljes GStreamer API-hoz, beleértve a busz üzenetkezelést, állapotváltozásokat és a tulajdonságok manipulálását. Ez lehetővé teszi, hogy valós időben reagáló, médiaeseményekre, hibákra vagy a stream végére (end-of-stream) vonatkozó feltételekre reagáló alkalmazásokat építsünk. A csővezetékek definiálhatók a `gst_parse_launch` függvény használatával, vagy elemenként felépíthetők a finomhangolt vezérlés érdekében.

import gi
gi.require_version('Gst', '1.0')
from gi.repository import Gst

Gst.init(None)

pipeline = Gst.parse_launch("videotestsrc ! autovideosink")
pipeline.set_state(Gst.State.PLAYING)

# Wait for EOS or error
bus = pipeline.get_bus()
msg = bus.timed_pop_filtered(Gst.CLOCK_TIME_NONE, Gst.MessageType.EOS | Gst.MessageType.ERROR)

pipeline.set_state(Gst.State.NULL)

Valós idejű streaming és hálózati támogatás

A GStreamer kiváló a valós idejű streamingben, erős támogatással olyan protokollokhoz, mint az RTSP, RTP, HLS és DASH. A fejlesztők Python használatával építhetnek élő streaming szervereket vagy klienseket, amelyek kezelik a forrásokat, enkódereket és hálózati sinkeket. A keretrendszer átláthatóan kezeli a szinkronizációt, jitter pufferelést és a csomagveszteség elrejtését. Az olyan elemekkel, mint a `tcpserversink`, `udpsink` és `rtspclientsink`, videót streamelhet kamerákból vagy fájlokból helyi hálózatokon vagy az interneten keresztül. A Python szkriptek dinamikusan állíthatják a bitrátát, felbontást vagy a kódolási paramétereket a hálózati feltételek vagy a felhasználói bemenet alapján, lehetővé téve az adaptív streaming megoldásokat. A GStreamer moduláris felépítése egyedi protokoll pluginok támogatását is biztosítja speciális felhasználási esetekhez.

import gi
gi.require_version('Gst', '1.0')
from gi.repository import Gst, GObject

Gst.init(None)

pipeline = Gst.parse_launch("videotestsrc ! x264enc ! rtspclientsink location=rtsp://localhost:8554/stream")
pipeline.set_state(Gst.State.PLAYING)

loop = GObject.MainLoop()
try:
    loop.run()
except KeyboardInterrupt:
    pass

pipeline.set_state(Gst.State.NULL)

Hardveres gyorsítás és bővítmények bővíthetősége

GStreamer zökkenőmentes integrációt biztosít hardveres gyorsítók, például az NVIDIA CUDA, az Intel Quick Sync és az ARM Mali segítségével dedikált pluginek révén. A fejlesztők a GPU gyorsítást felhasználhatják videó dekódoláshoz, kódoláshoz és kompozíciónál anélkül, hogy újraírnák a maglogikát. A plugin rendszer lehetővé teszi egyedi elemek írását C, Python vagy más nyelveken, és dinamikus betöltését. Python pluginek létrehozhatók a `Gst.ElementFactory` használatával, és futásidőben regisztrálhatók, ami gyors kísérletezést tesz lehetővé. Ez a rugalmasság támogatja az olyan felhasználási eseteket, mint egyedi szűrők, AI inferencia csővezetékek vagy saját kódolók. A pluginek automatikusan felfedezhetők a `gst-inspect-1.0` segítségével, és képességeik programozottan lekérdezhetők Pythonban adaptív csővezetékek építéséhez.

import gi
gi.require_version('Gst', '1.0')
from gi.repository import Gst

Gst.init(None)

# Example for VAAPI on Linux with Intel GPU
pipeline = Gst.parse_launch("filesrc location=video.mp4 ! qtdemux ! h264parse ! vaapih264dec ! autovideosink")
pipeline.set_state(Gst.State.PLAYING)

# Run pipeline...

Média feldolgozás és effektus csővezeték

A GStreamer gazdag beépített elemeket tartalmaz az audio/videó feldolgozáshoz, mint például a méretezés, színkonverzió, vágás, keverés és audio keverés. A fejlesztők láncolhatják ezeket az elemeket, hogy kifinomult effektusláncokat hozzanak létre — például szűrők, átfedések vagy időalapú átalakítások alkalmazásával — teljesen Pythonban. Az olyan elemek, mint a `videoscale`, `videoconvert`, `textoverlay` és `audioresample`, magas minőségű feldolgozást biztosítanak minimális konfigurációval. Egyedi effektusok megvalósíthatók a `GstBase.BaseTransform` vagy a `GstBase.BaseAggregator` használatával Pythonban, lehetővé téve a médiafolyamok valós idejű manipulálását. Ez a GStreamer-t ideálissá teszi olyan alkalmazásokhoz, mint a videokonferencia, élő közvetítés vagy tartalomkészítő eszközök, ahol a alacsony késleltetésű feldolgozás kritikus.

import gi
gi.require_version('Gst', '1.0')
from gi.repository import Gst

Gst.init(None)

pipeline = Gst.parse_launch("videotestsrc ! textoverlay text='Hello GStreamer' font-desc='Sans 24' ! videoscale ! videoconvert ! autovideosink")
pipeline.set_state(Gst.State.PLAYING)

# Run pipeline...