• Vítejte na XBMC-Kodi.cz
  • Česko-slovenská komunita fanoušků XBMC/Kodi
Vítejte návštevníku! Přihlášení Registrace


Hodnocení tématu:
  • 13 Hlas(ů) - 2.38 Průměr
  • 1
  • 2
  • 3
  • 4
  • 5
WebGrab+Plus
Zdravím. Pokouším se rozběhnout WebGrab+Plus v kontejneru na mém NASu QNAP, ale generuje se mi prázdný XML soubor. Můžete mi prosím někdo potvrdit, zda je stále funkční webgrab z "tv.sms.cz.m"?

můj testovací WebGrab++.config.xml:
 
Kód:
<?xml version="1.0"?>
<settings>
  <filename>/data/guide.xml</filename>
  <mode></mode>
  <postprocess grab="y" run="n">rex</postprocess>
  <user-agent>Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36 Edg/79.0.309.71</user-agent>
  <logging>on</logging>
  <retry time-out="5">4</retry>
  <timespan>0</timespan>
  <update>f</update>

  <channel update="i" site="tv.sms.cz.m" site_id="Nova" xmltv_id="Nova">Nova</channel>
  <channel update="i" site="tv.sms.cz.m" site_id="Prima" xmltv_id="Prima">Prima</channel>
  <channel update="i" site="tv.sms.cz.m" site_id="%C8T1" xmltv_id="ČT1">ČT1</channel>

</settings>

a toto se mi generuje v souboru guide.xml: 
Kód:
<?xml version="1.0" encoding="UTF-8"?>
<tv generator-info-name="WebGrab+Plus/w MDB &amp; REX Postprocess -- version V5.1.3.0 -- Jan van Straaten" generator-info-url="http://www.webgrabplus.com">
  <channel id="Nova">
    <display-name lang="cs">Nova</display-name>
    <url>http://www.tv.sms.cz.m</url>
  </channel>
  <channel id="Prima">
    <display-name lang="cs">Prima</display-name>
    <url>http://www.tv.sms.cz.m</url>
  </channel>
  <channel id="ČT1">
    <display-name lang="cs">ČT1</display-name>
    <url>http://www.tv.sms.cz.m</url>
  </channel>
</tv>
HK1 rbox X4S (CE Nexus), X96 Max+ (CE Nexus), Tanix TX92 (CE Leia) | Yamaha RX-V475 | LG OLED65C8
 
Citovat
@Saxel Mně už sms.cz ve WebGrab++ nejede dlouho. Myslím, že tu někdo psal, že mu to funguje v aktuální verzi. Já aktuální verzi nemohu používat, protože WG++ spouštím přímo v CoreELEC a tam nemám potřebnou verzi .NET. Takže jsem sms.cz nahradil jinými zdroji.
 
Citovat
@JiRo: Díky za info. Zkusil jsem i jiné zdroje dat v siteini.pack, ale z logu to vypadá, že mám problém s licencí WebGrab. Asi jsem to jejich licencování nepochopil, domníval jsem se, že jako registrovaný budu moci vygenerovat epg pro max. 30 programů, ale asi je to jinak.
Dosud jsem používal 365 EPG Generátor od Saroše, který mi běžel na starém RPi2B spolu s TVHeadendem. Teď provozuju TVH na novém železe (Zimaboard) a hledám cestu, jak zprovoznit epg generátor na NASu. Kdyby měl kdokoliv nějakou radu nebo nápad jak to pořešit, budu rád.
HK1 rbox X4S (CE Nexus), X96 Max+ (CE Nexus), Tanix TX92 (CE Leia) | Yamaha RX-V475 | LG OLED65C8
 
Citovat
Lightbulb 
Překopal jsem náš domácí Tvheadend server, a z letité built-in konfigurace na CoreELEC jsem přešel na dedikovaný stroj postavený na RPi 5 s NVMe diskem a RPi OS 64 bit. Tvheadend běží skvěle, nyní jsem se rozhodl za ním přesunout i Webgrab. Mám sice instalovaný i Docker, ale raději jsem jako první vyzkoušel přímou instalaci v RPi OS. Dopadlo to dobře, většina zdrojů se grabuje v pořádku, jsou ale dvě výjimky. Než začnu komunikovat s autory wg++ učiním dotaz zde.

EDIT Rychlá od kolegy způsobila, že následující popis je zbytečný. Úplně stačí provést upgrade Webgrab na verzi V5.1.3_beta a oba problémy zmizí. Kdybych byl důsledný a nebyl zbrklý, tak bych si stejnou radu přečetl na fóru. 8

Nicméně popis mých problémů tu ponechávám pro ostatní, kteří by se mohli s podobným problémem také setkat.

Moje konfigurace:
  • System RPi OS 64 bit Desktop (odvozeno od Debian)
  • Webgrab++ V5.1.0.0
  • SiteIni.Pack V2024.04.16_175100, přípdně i vyzkoušené další sini soubory z fóra Webgrab
  • instalace dotnet: sudo apt-get install -y dotnet-runtime-7.0
  • dotnet --version: 7.0.408
  • openssl version: OpenSSL 3.0.11 19 Sep 2023 (Library: OpenSSL 3.0.11 19 Sep 2023)
1. sms.cz
- ini file: m.tv.sms.cz.ini
- verze:  V3.2.3.0 @Revision 11 - [17/02/2023] Blackbear199
 
Kód:
(   1/2   ) M.TV.SMS.CZ -- chan. (xmltv_id=NASA TV) -- mode Incremental
i
error downloading page: The SSL connection could not be established.
Unable to update channel NASA TV
Generic syntax exception:
   message:
no index page data received from NASA TV
unable to update channel, try again later
Existing guide data restored!
Vím, že např. @martinchromy: (nebo @martinchromy1985:) tuto chybu už na fóru webgrab řešil, ale u něj to bylo způsobeno instalací nevhodného dotnet ze SNAP. Zkoušel jsme validitu certifikátu dotnet dev-certs https a alespoň podle výsledku A valid HTTPS certificate is already present. mám dojem, že tady by problém být nemusel, ale kdo ví, jsem jen linuxový "poučený laik"...

2. sledovanitv.cz
- ini file: sledovanitv.cz.ini
- verze ini V5.0 @Revision 9 - [16/02/2024] Blackbear199
- grabování všech kanálů končí se stejnou chybou:
 
Kód:
(   1/6   ) SLEDOVANITV.CZ -- chan. (xmltv_id=NASA TV) -- mode Incremental
iiiiiiiiiiiin
Unable to update channel NASA TV
See log file for details
Exception.Message: Value cannot be null. (Parameter 'value')
Exception.StackTrace:    at System.String.Contains(String value)
   at  .‧. (Dictionary`2, String, Boolean)
   at  .‧. (String,
)
   at  .‥. (String, ‬, ‪)
   at  .‥. (String[])
Existing guide data restored!
Tady asi bude nutné jít na fórum webgrab, nicméně pokud by někdo měl nějaký nápad nebo např. používá jiný ini file, budu rád za případnou radu.
 
Citovat
Postproces rex

Webgrab++ má k dispozici dva postprocesy, které mohou ve vygenerovaném xmltv upravit vybrané informace (rex) nebo do xmltv vybrané informace doplnit z jiných zdrojů (mdb). Já v současněé době používám postproces rex, který umí v xmltv přeskládat některé informace tak, aby je dokázalo Kodi zobrazit. Protože to není zas tak známá věc, pro zájemce ji tady stručně popíšu.

Co tedy postproces rex vlastně dělá? Umí některé informace, které do xmltv vkládají některé grabery a které Kodi (nebo jiný klient) neumí využít, převést na čistý text a vložit ho do jiných položek (např. description). Předpis pro to, jak to má tento postproces udělat, se definuje v xml souboru  rex.config.xml umístěnému v adresáři rex podle návodu, který je uveden v sample souboru rex.config.example.xml.

Základní postup generace se pak řídí parametry v WebGrab++.config.xml, konkrétně v řádku:
 
Kód:
    <postprocess grab="y" run="y">rex</postprocess>
Já osobně převádím pomocí rex jen informce o tvůrcích, hercích a zemi původu.

Původní záznam v xmltv po grabování vypadá takto:
 
Kód:
<programme start="20240421145000 +0200" stop="20240421173500 +0200" channel="HBO">
    <title lang="cs">Interstellar</title>
    <desc lang="cs">Když se náš čas na Zemi začne chýlit ke konci, je skupina výzkumníků pověřena nejdůležitějším posláním v dějinách lidstva - musí se vydat mimo naši sluneční soustavu a pokusit se najít pro lidské pokolení planetu, na které bude moci žít.</desc>
    <credits>
      <director>Christopher Nolan</director>
      <actor>Matthew McConaughey</actor>
      <actor>Anne Hathawayová</actor>
      <actor>Jessica Chastainová</actor>
      <actor>Ellen Burstynová</actor>
      <actor>Michael Caine</actor>
    </credits>
    <date>2014</date>
    <category lang="cs">Scifi</category>
  </programme>
Pro prohnání souboru xmltv postprocesem rex pak stejný záznam vypadá takto:
 
Kód:
<programme start="20240421145000 +0200" stop="20240421173500 +0200" channel="HBO">
    <title lang="cs">Interstellar</title>
    <desc lang="cs">Když se náš čas na Zemi začne chýlit ke konci, je skupina výzkumníků pověřena nejdůležitějším posláním v dějinách lidstva - musí se vydat mimo naši sluneční soustavu a pokusit se najít pro lidské pokolení planetu, na které bude moci žít.
[COLOR grey]Obsazení:[/COLOR] Matthew McConaughey, Anne Hathawayová, Jessica Chastainová, Ellen Burstynová, Michael Caine
[COLOR grey]Režisér:[/COLOR] Christopher Nolan</desc>
    <date>2014</date>
    <category lang="cs">Scifi</category>
  </programme>
V Kodi se pak tento nový záznam objeví jako:
   
Předpis, jak se má postproces rex chovat je tento:
 
Kód:
<settings>
  <filename>temp.xml</filename>
  <desc>'description'{\n[COLOR grey]Obsazení:[/COLOR] 'actor(, )'}{\n[COLOR grey]Režisér:[/COLOR] 'director(, )'}{\n[COLOR grey]Námět/scénář:[/COLOR] 'writer(, )'}{\n[COLOR grey]Hudba:[/COLOR] 'composer(, )'}{\n[COLOR grey]Země:[/COLOR] 'country(, )'}</desc>
  <credits></credits>
</settings>
V logu wegbrab to pak vypadá nějak takto (zobrazují pouze konec logu):
 
Kód:
[  Debug ]
[  Info  ] ( 112/112 ) O2TV.CZ -- chan. (xmltv_id=Africke nebe) -- mode Incremental
[  Info  ]
[  Info  ]    Summary for update of       Africke nebe
[  Info  ]      missing shows added       0
[  Info  ]      changed shows updated     0
[  Info  ]      new shows added           36
[  Info  ]      unchanged shows inspected 0
[  Info  ]      total after update        36

[  Debug ]
[  Debug ] 6843 shows in 112 channels
[  Debug ] 0 updated shows
[  Debug ] 6843 new shows added
[  Info  ]
[  Info  ]
[        ] Job finished at 21/04/2024 12:59:24 done in 10m 32s
[  Info  ] Job (REX Version: 3.2.1) started at 21/04/2024 12:59:24
[  Info  ] Starting REX Postprocess
[  Info  ]      .. done
[  Info  ]      File written to :
[  Info  ] /home/kodi/.wg++/rex/temp.xml
[  Info  ]
[  Info  ]
[        ] Finished Postprocess REX
[  Info  ] Job (rex) finished at 21/04/2024 12:59:31 done in 7s
Je důležité, že výsledný xmltv je pak uložený v adresáři rex a musí se tedy změnit i zdrojová adresa pro navazující aplikace (např. Theadend).

U mne je to ještě o něco složitější. Mám ještě další vlastní "postporces", které upravuje ve výsledném xmltv kategorie tak, aby v EPG v Kodi, které EPG přebírá z Tvheadend, fungovalo správně probarvování podle kategorií/žánrů. To ale s postprocesem rex nijak nesouvisí.
 
Citovat
  


Přejít na fórum:


Prochází: 1 host(ů)