Linux Analyse, neuer KI Scan
dieser Beitrag wurde am 18.12.2022 von Admin gestartet
Neues Update ist online, ich nenne es mal Version 2.0
Was genau ist neu ?
zum einen gibt es nun eine Info um was es sich für eine Art Sender handelt
wenn TV, dann gibt es bei unverschlüsselten Sendern die Angabe SD / HD / UHD TV + die Angabe der Auflösung
wenn Radio, dann nur die Info Radio
Außerdem gibt es nun eine Länder Fahne, diese wird generiert aus der Länderkennung des ersten Audio Pids. Die Fahne sagt also nur, Deutscher Ton, oder Spanischer Ton.
Dadurch das nun die grafische Neu + Gelöscht Info ebenfalls online ist, entfällt die alte einfache Variante mit dem [+] und [-] davor
Zum testen hab ich den Fake Sender Penthouse Deluxe HD erstellt, damit man es sehen kann.
Ansonsten müssten wir wohl 4 Wochen warten, auf den nächsten freien HD Sender
LINK
Als nächstes soll noch eine Angabe für die Verschlüsselung folgen, im Sinne von ist FTA oder nicht. Aber das läuft noch nicht 100% tig, gibt manchmal noch falsche Erkennung.
mal etwas zur Technik und dem Problem eben bei Sky Italia, wo 6 Sender als gelöscht gemeldet wurden.
Die Sendernamen werden wie alle anderen Infos in Paketen versendet.
Es gibt unter anderem Datenpakete für EPG, Sender Namen, weitere Sender zu dem Paket, NIT Daten, usw.
Da die Informationen pro Paket begrenzt sind, werden halt viele Pakete gesendet, und das kontinuierlich.
mal ein ganz vereinfachtes Beispiel
Nehmen wir einfach mal an um 13:00:00 wird das erste Paket versendet mit den Namen der ersten 5 Sender. Danach folgen um 13:00:01 die EPG Infos von Sender 1, um 13:00:02 die von Sender 2 usw. Nach dem EPG kommen dann die Nit Daten, und erst um 13:00:15 das Paket mit den restlichen Sendern auf dem Sender.
jeder der mal die EPG Taste an seinem TV oder Receiver gedrückt hat, kennt es ja, das sich das EPG Fenster langsam füllt. Vergleichbar mit dem Videotext, der sendet auch pro Sekunde X Seiten. Startet man den Videotext wo er gerade bei Seite 400 ist, und man will die Seite 300 sehen, dann muss man warten bis er am Ende war, und wieder mit Seite 100 beginnt, und dann wieder bis 700 durch rennt

Ist wie der Sekundenzeiger von einer Uhr, er dreht immer von 0 bis 24, so macht es der Videotext, er sendet immer von 100 bis 700 und so machen es auch die Datenpakete im DVB Datenstrom.
Je mehr Pakete es gibt, um so länger dauert es, bis man alles hat, was man braucht. Weil zwischen den Paketen die man benötigt, halt vieles anderes gesendet wird, was den Prozess verzögert.
Nun zurück zum Problem von eben. Auf Astra dauert es je nach Sender zwischen 5 und 100 Paketen bis alle Infos vorhanden sind. Das liegt daran, das hier zum einen weniger Sender pro TP vorhanden sind, und diese auch keinen so umfangreichen EPG wie die Italiener haben, und auch nicht so viele Sender wie die Italiener haben, die dann erweiterte Frequenz Infos senden.
Ich hatte das Limit also auf 300 Pakete gestellt, weil ich dachte, das sollte ausreichen. Aber Pustekuchen. In den 300 Paketen war nur 1 Sender Namen Paket enthalten, das von der 2. Sektion. Das 1. fehlte. Also hab ich es mal auf 600 Erhöht, und geschaut in welchen Paket die Namen gesendet wurden.
Zitat:
TS-Packet: 00000325 PID: 17
ohne Limitierung wären es in den 10 Sekunden im übrigen
Zitat:
TS-Packet: 00001124 PID: 17
Es wurden also 112 Pakete pro Sekunde gesendet. Da das 2. Senderpaket in dem Fall nach 325 Paketen empfangen wurde, hätte ein "regulärer" Sendersuchlauf auf dem TP also mindestens sagen wir 4 Sekunden gedauert.
Es gibt Transponder da dauert es weniger als 1 Sekunde, und andere mehr als 6.
So kann man das ganze etwas besser verstehen. Je mehr "unwichtige" Datenpakete zwischen denen die man braucht, gesendet werden, um so länger dauert es.
Daher geht es bei Transpondern mit wenigen Sendern und keinem EPG und ohne NIT Daten rasend schnell, und bei den Polen und Italienern dauert es ewig

Was haben wir nun daraus gelernt, es gibt keinen
haha, es gibt einen Beitrags Begrenzer, und ich hatte so viel geschrieben, das der Rest abgeschnitten wurde.
Teil 2, der oben fehlte.
Es gibt also keinen optimalen Paket Begrenzer.
Ich hab das Limit nun auf 450 erhöht.
Die Datei die auf der Festplatte landet, wo alle diese Daten drin sind, hat mit dem 450 Limit = 45.000 Zeilen, die ohne Limit rund 150.000, und das nur bei einer Frequenz.
Ich oder besser der Linux PC muss 150.000 Zeilen auswerten, nur um die 6 fehlenden Sender zu finden. Eigentlich ein absoluter Wahnsinn.
Hier um diese Daten geht es.
Code:
TS-Packet: 00000325
Service_id: 4150 (0x1036) [= --> refers to PMT program_number]
reserved_1: 63 (0x3f)
EIT_schedule_flag: 1 (0x01)
EIT_present_following_flag: 1 (0x01)
Running_status: 4 (0x04) [= running]
Free_CA_mode: 1 (0x01) [= streams [partially] CA controlled]
Descriptors_loop_length: 130 (0x0082)
DVB-DescriptorTag: 72 (0x48) [= service_descriptor]
descriptor_length: 28 (0x1c)
service_type: 25 (0x19) [= advanced codec HD digital television service]
service_provider_name_length: 10 (0x0a)
service_provider_name: "SkyItalia" -- Charset: Latin alphabet no. 5
service_name_length: 15 (0x0f)
Service_name: "Eurosport 2 HD" -- Charset: Latin alphabet no. 5
Service_id: 4150 (0x1036) [= --> refers to PMT program_number]
reserved_1: 63 (0x3f)
EIT_schedule_flag: 1 (0x01)
EIT_present_following_flag: 1 (0x01)
Running_status: 4 (0x04) [= running]
Free_CA_mode: 1 (0x01) [= streams [partially] CA controlled]
Descriptors_loop_length: 130 (0x0082)
DVB-DescriptorTag: 72 (0x48) [= service_descriptor]
descriptor_length: 28 (0x1c)
service_type: 25 (0x19) [= advanced codec HD digital television service]
service_provider_name_length: 10 (0x0a)
service_provider_name: "SkyItalia" -- Charset: Latin alphabet no. 5
service_name_length: 15 (0x0f)
Service_name: "Eurosport 2 HD" -- Charset: Latin alphabet no. 5
Das ist Eurosport 2 HD mit der Service ID 4150
eine weitere Verbesserung, da der Linux KI Scan mittlerweile recht gut läuft, gut aber noch nicht perfekt
hab ich ihn ein weiteres Update spendiertBisher hat der Linux KI Scan nur TV und Radio Programme überwacht, und Service also Namenlose Sender ignoriert.
Die Namenlosen behandle ich wie bisher, statt "unbekannt" hab ich sie automatisch in Service 12345 unbekannt, so sind die Daten auch kompatibel mit den Windows Daten. Außerdem wird geprüft, ob dieser "neue unbekannte" Service Sender auch sendet.
Nur wenn das der Fall ist, erscheint die Meldung, denn viele von den Service Dingern haben nur einen Namen, aber senden weder Audio noch Video.
So kann man zumindest die raus fischen, die vielleicht interessant sind.
PS: gestern gabs für genau 10 Minuten einen Raspberry Pi4 für 66 Euro.
Leider hab ich es erst 3h später mitbekommen, aber ausverkauft nach 10 Minuten, da hat man eh keine Chance
So, es gab mal wieder ein kleines "internes" Update.
Ab sofort werden die Daten vom KI Scan genutzt, um ohne manuellen Scan direkt neue Sender einzubauen oder zu updaten.
getestet hab ich das an dem Movistar Sender und an Dorcel TV.
Da die Daten ja stündlich aktualisiert werden, kann man die ja auch dafür nutzen.
Vorteil, ich kann nun die Meldung direkt online stellen, ohne den Scan per Windows zu starten um dann die Auswertung zu machen. Die Zahl vor der Update Info kann also durchaus bis auf 5. Astra Update hoch gehen, je nachdem was Astra so bastelt

Ist aber noch in der Testphase aktuell
Der Insert wird aktuell noch verbessert, es folgt dann noch Suryoyo SAT
gerade ist es zu einem Kuriosen Fehler gekommen, den ich bis heute noch nicht hatte

Lag wohl am neuen verbesserten Update, was nun so schlau ist, zu merken wenn der Tuner offline ist.
Vorher passierte es ja meist Nachts, wenn der PC 14 Tage am Stück durchlief, das sich der Tuner irgendwann aufgehangen hat. Dann kamen bis ich den Rechner neu gestartet hab keine Updates mehr.
Jetzt erkennt das System selbstständig, das etwas nicht stimmt, und startet den Tuner neu.
Hat es heute auch gemacht, und danach lief wieder alles.
Problem war nur, das der Hotbird Scan deswegen gut 20 Minuten länger gedauert hat.
Also fing um 19:10 der Astra Scan an, während der Hotbird Scan noch lief.
Das wäre früher nicht passiert, da die Start Prüfung vorher einen Fehler gemeldet hätte, Tuner Offline. Da der aber nun automatisch wieder neu gestartet wurde, wurden über 150 Hotbird Transponder erkannt
Und es gab komische Meldungen.Das nur falls sich gerade wer gewundert hat
seit gestern 21 Uhr macht der PC kein Hotbird Update mehr
Er hat aber problemlos Hotbird gescant, aber irgendwo in der Auswertung meint er dann, es wäre Astra und löscht dann alle Daten die nicht Astra entsprechen.
Daher macht er dann immer mit Astra weiter.
Interessant ist, das trotz des Fehlers, keine falschen Daten entstanden sind.
Bin gerade am Suchen, ich vermute mal, es gibt irgendwo ein Problem mit dem Zeichensatz, weswegen die Hotbird Daten nicht generiert werden.
Der Fehler wurde verursacht durch den neuen Sender
10719 V 4401 Active Family
Da aber gerade der Astra Scan läuft, kann ich das nicht genauer untersuchen, in 25 Minuten dann
Irgendwas muss an dem Sender jedenfalls komisch sein, das der ein Abbruch der Analyse verursacht. Der Fehler ist zumindest neu, und in den letzten 2 Jahren so noch nicht vorgekommen.
Kurze Info, ich aktualisiere gerade das Linux Lunar 23 weil das Ende Monat aus den Support fliegt
Wenn ich es bis 20:10 schaffe das läuft das Linux KI Script normal durch.
Wenn nicht dann fällt es aus.
Mache erstmal auf 23.10 als zwischen schritt, später dann auf 24.
Backup ist angelegt, falls es schief geht
Code:
Distributor ID: Ubuntu
Description: Ubuntu 24.04.1 LTS
Release: 24.04
Codename: noble
Description: Ubuntu 24.04.1 LTS
Release: 24.04
Codename: noble
soweit so gut, mal sehen ob das Script noch läuft
Heute war der Linux Rotor Scan PC dran.
Der rödelt jetzt schon eine Stunde an dem Update auf Ubuntu 24.
Deswegen konnte ich das 9E Update noch nicht starten.
Also weiter warten
Edit 15:49 es läuft noch immer
Zitat:
Entpacken von linux-objects-nvidia-470-6.8.51-generic....
die 5-fache KI Meldung, das war ich

Hatte einen Bug in der neuen Funktion, die Meldung für "Baby TV" kam ja nicht, daher musste ich das beheben. Nun sollte es endlich laufen.
Rodina TV, ist gelb, also vermutlich temporär offline
eigentlich sollte dann die Meldung nicht kommen, da scheint irgend eine Bedingung nicht zu stimmen
Die stellt sich auch dümmlich an die KI, eigentlich sollte die Aufschaltung priorisiert werden, aber irgendwie klappte das wohl nicht. Das muss ich mir noch mal genauer anschauen.




