Přihlásit se na XBMC-Kodi.cz

Připravuji řešení pro začlenění příjmu placené IPTV do LE s provozovaným Tvheadend backendem (addon Tvheadend 4.2 a vyšší, tedy s http api). Volím toto zdánlivě složitější řešení (oproti využití IPTV Simple klienta), protože chci zachovat všechny funkce a výhody plnohodnotného řešení Tvheadend server + Tvheadend HTSP klienti na všech Kodi instalovaných v domácí síti, s výhodami:

• za všech okolností vždy jen jeden stream z internetu pro každý právě přijímaný kanál i bez ohledu na to, kolik klientů se rozhodne ho sledovat nebo bude-li současně i nahráván
  
• funkce timeshift
  
• funkce nahrávání
  
• společného EPG
  

Podmínkou pro řešení samozřejmě je, aby provider umožňoval stažení playlistů, obsahující autentizační údaje. Řešení musí samozřejmě respektovat to, že playlisty, respektive autentizační údaje v nich, jsou periodicky obnovovány. Výchozí podmínkou pro řešení je využití pouze těch aplikací, které jsou v LE dostupné, tzn. připadá v úvahu scripty sh a python, curl, wget, atp. a funkce dostupné v Kodi a Tvheadend backendu. Nechci vytvářet žádné monstrum, řešení by mělo v podstatě obsahovat:

• periodicky prováděný download playlistu, včetně pokud možno bezpečné autentizace (přihlášení)
  
• aktualizaci playlistu v Tvheadend, včetně navazujících funkcí scan-u - mapování služeb - zrušení kanálů z předchozího mapování 
  
• restart PVR na všech klientech Kodi v síti
  

Pro pilotní řešení jsme si vybral IPTV službu Zapni.tv, která umožňuje stažení playlistu, ve kterých mění autentizační údaje 1x denně. Celý řetězec jednotlivých kroků řešení jsem si prošel takříkajíc "pěšky". Tzn. stáhnul jsme playlist, modifikoval jej příkazy pro převod na ts streamy (ffpmeg), v Tvheadend jsem načetl nový playlist, spustil scan, namapoval nové služby, vymazal staré kanály a nakonec v klientech Kodi restartoval PVR.

Předpokládané řešení má dvě problematická místa, která ještě nemám úplně do detailu promyšlena:

• Přenos autentizačních údajů - to je samozřejmě značná bezpečnostní slabina, nejsem v této oblasti příliš zkušený a proto přivítám jakékoliv doporučení
  
• Konflikty s aktivnímu funkcemi - pro úspěch provedení celého řetězce je nutné, aby v dané chvíli nebyly updatované služby a kanály na serveru aktivní a PVR na klienetch Kodi nebylo používáno
  

Předpokládaný postup řešení a využité zdroje a  nástroje:

1. stažení playlistu - curl + cron
   
2. modfikace playlistu pro převod na ts stream - sh nebo python script
   
3. načtení playlistu, scan, mapování služeb, vymazání starých kanálů - python srcipt + příkazy http api Tvheadend
   
4. restart PVR - sh scripty, externí příkazy Kodi
   

Jak už jsme napsal, zatím jde jen o ideu, ale až na uvedená dvě problematická místa jsem všechno ověřil a řešení je jen otázkou času a programátorské zručnosti. Pokud by měl někdo nějaké nápady nebo názory k navrhovanému řešení, budu za mě vděčný. Zajímalo by mě také, zda-li by o uvedené řešení byl mezi ostatními zájem.

Pokud by řešení bylo funkční, mohly by se body 1-3 nakonec realizovat jako addon pro Kodi s Tvheadend backendem a bod 4 jako addon pro všechny Kodi klienty v síti. Šlo by o jednoduché addony, které by v podstatě pouze instalovaly potřebné části řešení a zajišťovaly případně funkce jejich konfigurace.

IPTV Automatic Network by na to nefungovala? Řešit to zvenku přes API mi přijde takové dost megabrutální řešení :)

Mapovat k programům se dá automaticky, spojí se to samo. Na nefunkční Service zase funguje autodetekce, kdy je to automaticky deaktivuje, pokud v daném streamu už původní služba není.

Nevím s jakými jsem to měl omezeními, ale tohle jsem měl řešené jen s použitím IPTV Automatic a vzpomínám si, že to fungovalo. Takže bych to nejdřív zkusil naklikat v rozhraní, mělo by to jít. Jaké jsou limitace si teď nevzpomenu, ale myslím, že to nic hrozného nebylo.

@mobilemanic No, nechci  se přít, ruku do ohně za to nedám, ale mě to takhle s IPTV nefunguje. Mapování služeb k programům probíhá automaticky, to samozřejmě ano, ale spustit se musí ručně. A programy se po namapování neaktualizují, ale vytvoří se nové a u těch starých (které tam zůstanou) se odstraní odkaz na službu. Večer to doma pro jistotu ještě jednou prověřím, zda mi něco neuniklo, abych tady nevytvářel nějaké flame  .

Už to mam, jde to naklikat... Musíš použít Bouquets, jinak ti to nepůjde...

- Automatické namapování Channels po každé aktualizaci playlistu lze nastavit, v IPTV auto nastavíš automatické vytváření Bouquet a v něm nastavíš "Auto-map to channels".
- aby to zůstalo ve správných Channels, v Bouquet nastavíš "Merge same name".


A je to :-)

@mobilemanic Uff, tak to by mě ani ve snu nenapadlo. Bouquet jsme se zatím vyhýbal, domníval jsme se, že jsou určeny jenom pro dekódování. Ani jsem si neprohlédl, co je jejich obsahem. Chyba  teď to vidím... Vyzkouším. Díky!

@mobilmanic  Bouquets jsme vyzkoušel a funguje to parádně. Přesně to jsem potřeboval a upřímně řečeno jsme se vždycky divil, proč to v Tvheadend není. A ono to tam je. Moje chyba, že jsem bouqeuts ignoroval.

Zároveň jsme si našel další chybu v mojí konfiguraci. Při změně obsahu playlistu se mi nespustilo scanování. Teprve teď jsme si všiml, že jsem v položce, ve které se definuje perioda načítání playlistu měl default hodnotu 60 minut. Zkušebně jsem ji zkrátil na 1 minutu a skutečně, po změně v playlistu se po 1 minutě spustí scan a pak následují automaticky všechny dalších kroky, včetně promítnutí změny až do Kodi.

Zdá se tedy, že díky doporučení @mobilemanic není třeba řešit body 2 a 3 z původního seznamu, ty si vyřeší Tvheadend sám:

1. stažení playlistu - curl + cron
   
2. modifikace playlistu pro převod na ts stream - sh nebo python script
   
3. načtení playlistu, scan, mapování služeb, vymazání starých kanálů - python srcipt + příkazy http api Tvheadend
   
4. restart PVR - sh scripty, externí příkazy Kodi
   

Z bodů 4. a 5. tedy ještě zbývá dořešit konflikt který vzniká, pokud dojde ke změně u aktivního programu. Tam je chování Tvheadend i Kodi ne vždy jednoznačné, některých případech to končí restartem PVR na Kodi a smazáním daného programu...

ad 2. místo klasického pipe://... v playlistu, je možné použít ještě jedno zajímavé a elegantní řešení - HTTP proxy, které hodlám vyzkoušet (vyžaduje ale node.js 1.2  a vyšší, v této chvíli nevím, zda to nebude na LE problém) https://github.com/Jalle19/node-ffmpeg-mpegts-proxy

ad.1 je stále ještě k řešení

ad 1. přesně tak, curl nebo wget do cronu, podle potřeby... wget např. neumí SOCAT, což je blbé při stahování EPG dat, která se přes SOCAT dají do TVH nalít úplně nejlépe, tedy je potřeba použít curl, který to umí... na samotné stažení playlistu mám radši wget, přijde mi jednodušší ale to je asi o zvyku :)

ad 2. node-ffmpeg-mpegts-proxy je zbytečná, jediné co dělá je, že spouští ffmpeg, takže pak máš všechno na dvou místech a vzniká v tom nepořádek... jednodušší je přepsat obsah node-ffmpeg-mpegts-proxy do pipe://, vypadá to třeba takhle:

pipe://ffmpeg -re -fflags +genpts -i http://adresa.tld/neco.m3u8 -f mpegts -vcodec copy -acodec copy pipe:1

Má to několik výhod, občas i nějaká nevýhoda:

- s node-ffmpeg-mpegts-proxy máš dvě místa na konfiguraci, děláš všechno dvakrát

- node-ffmpeg-mpegts-proxy vkládá input parametr -re (číst vstup konstantní rychlostí dle datového toku) a nejde to obejít, je to tam v kódu natvrdo, musela by se ta proxy trošinku upravit. Když to máš v pipe:// upravíš si příkaz dle potřeby (používám při připojení různých OTT kanálů z internetu, kde některé dodávají data nárazově a pokud to nestíháš číst, tj. s parametrem -re, tak má kanál záseky).

- HTTP(S) klient v tvheadendu není na všech konfiguracích vždy stabilní, někdy bezdůvodně v náhodných intervalech ukončuje spojení i když zdrojový stream by normálně jel dál... Přes pipe:// se tohle neděje a datový tok je narozdíl od integrovaného HTTP(S) klienta v TVH 100% stabilní (pokud nechci pipe://ffmpeg, tak je vždy bezpečnější použít alespoň "pipe://wget -O - -q http://adresa.serveru.tld")

- nevýhodou přímé konfigurace v TVH může být odcizení adresy streamů v případě hacku TVHeadendu, např. donedávna tam byl nepěkný bug, kdy DEBUG konzole šla zobrazit komukoliv včetně non-admin uživatelů a byl tam vidět výpis integrovaného ffmpegu kam se kanál připojuje. Použitím node-ffmpeg-mpegts-proxy je tohle riziko efektivně eliminováno, obzvlášť pokud je ta proxy vidět pouze v intranetu. Ale to je asi tak jediné, jinak je to spíše pro zlost

- výhodou node-ffmpeg-mpegts-proxy může naopak být to, pokud chci těch TVH připojit víc a nechci jako "switch" použít další "full heavy" tvheadend, lze celkem nenáročně za tímto účelem použít node-ffmpeg-mpegts-proxy, určitě má menší paměťovou a výkonovu stopu než celý velký TVHeadend.

---

Je potřeba promyslet, co bude výhodnější pro "IPTV automatic", jedna z těch variant bude snazší, jen v tuto chvíli nevím která.

A ještě poznámka mimo, TVHeadend umí HLS playlisty nativně, i bez ffmpegu/proxy... Moc dobře mi to ale nefungovalo, spojovalo to segmenty špatně, vznikala mezi nimi viditelná pauza což je na rozumné koukání nepoužitelné. Ale nevím jak je to v posledních verzích, možná to už opravili, pak by snad nebylo potřeba vůbec nic, jen stáhnout playlist a nechat TVH ať to zpracuje. Moc tomu nevěřím, ale za zkoušku by to možná taky stálo :)

@mobilemanic Díky za analýzu. Je dobré si o tom s někým, kdo tomu rozumí, pokecat.

ad. 1 Včera jsem to začal řešit, zvolil jsem curl, pocitově mi připadá, že nabízí víc možností.

ad. 2 Prošel jsem si večer taky github toho proxy a souhlasím, je to jenom komplikace. Původně jsem si myslel, že bude v sobě bude mít víc inteligence. Ale pokud je třeba to do detailu konfigurovat pro každý stream na obou stranách, tak pro mne a můj způsob využívání nevidím žádnou výhodu.

Já pipe://ffmpeg... používám pro většinu streamů co přijímám. Jinak je Tvheadend ani neidentifikuje. Prohnat playlist jednoduchým scriptem, který adresy streamu obalí čím je třeba, problém není, a tak pro tuto chvíli zůstanu u tohoto řešení.

Včera jsem ještě testoval různé varianty změn v playlistu (změny ve steramech, přidání/ubrání streamů) v kombinaci s automatickým načítáním a mapováním a funguje to bez problémů. Pokud se nemění počet streamů v playlistu, tak se zdá, že je ten proces celkem bez problémů a Tvheaheaend i Kodi si s tím poradí očekávaným způsobem. Pokud se mění počet streamů v playlistu, tak mohou nastat různé menší či větší komplikace, počínaje zmatkem v číslování kanálů a konče až restartem PVR v Kodi. Ale to je pro mne v tuto chvíli marginální.

@mobilemanic Ještě poznámka k Bouquets a aktualizaci playlistu. Po aktualizaci playlistu, když se spustí automatické mapování, se bohužel přepisují nastavené atributy a parametry ve službách i programech. To je hodně nemilé, řada věcí, která na tom stojí se tak nedá použít, nebo jen s obtížemi. Například nastavení priorit nebo mapování různých služeb do jednoho programu. Musím vyzkoušet, jak to fungovalo bez Bouquets. Nejsem si úplně jist, ale měl jsme za to, že tam se ty atributy nepřepisovaly a zůstávaly nastaveny i při změně v playlistu a následném ručně spuštěném mapování.

JiRo: no, do produkčního stavu, který by opravdu fungoval, jsem nakonec ty automatické IPTV playlisty nedotáhl nikdy - neměl jsem sílu to takhle vylaďovat a řešit právě tyhle drobné nedostatky..

Nakonec jsem všechno naklepal v GUI ručně a bylo to... Jako zdroje byly použity pevné adresy na lokální server s node-ffmpeg-mpegts-proxy a v nějakém skriptu jsem stahoval playlist a upravil ho pomocí hromady "replace" tak, aby mohl sloužit jako vstup nastavení pro node-ffmpeg-mpegts-proxy... Ale samozřejmě to neumělo např. reagovat na nově přidané kanály a spoustu dalších věcí, ale alespoň jsem se v tom pak už nemusel vrtat :)

@mobilemanic Což o to, naklepat to ručně, to jde vždycky. Jen v okamžiku, pokud je třeba periodicky aktualizovat playlist, se z toho stává trochu problém. A o tom vlastně celé toto vlákno je, jak to zařídit, aby to celé fungovalo bez potřeby cokoli opakovaně "naklepávat". Tedy kromě počáteční konfigurace, Ale máš pravdu, je to otravné, ale snad se mi podaří ty mouchy postupně vychytat. Nebude to 100% dokonalé, ale k použití to bude.

Jiro jen jeden dotaz k tématu. Mám možnost si vybrat z IPTV O2 a sledovani.tv. DLe všech dostupných informací ani jeden nenabízí playlisty. Sledovani.tv má jen playlist pro VLC, ale to asi není to co potřebuji.

Původní myšlenka byla: Zprovoznit Tvheadend, kde by bylo sledovani.tv + pozemní signál přes DVB-T najednou. Dokonce mám k dipozici i nějaký ten playlist od jinud.

Otázka: mohu to zprovoznit u jednoho z těchto poskytovatelů?

Druhá otázka: na RPI 3 jsem instnul Tvheadend a v nastavení dal IP na které běží kodi. Z jiného PC jsem se chtěl dostat do administrace, ale pod uvedenou IP a portem prohlížeč vypíše, že dlouho čekal na odezvu. Nestalo se ti to?

To by aj mňa potešilo "Zprovoznit Tvheadend, kde by bylo sledovani.tv"
Bodol by návod ako na to

@terzdek Problém přijímat IPTV z nějakého playlistu většinou není. Pokud není nějak exoticky kódovaný a lze ho přijmout ve VLC, tak ho lze většinou přijímat i v Tvheadend. Maximálně se musí přebalit do mpegts kontejneru, ale to taky není problém. Popis tady najdeš.  Problém nastává, pokud se ten playlist často mění. Někdy ho provideři mění i 1x za 24 hodin, někdo dokonce i častěji. O tom je vlastně tady to celé vlákno. Jak to celé zautomatizovat.

Pokud máš nějaký free playlist, tak ten většinou funguje tak dlouho, dokud ho někdo nevypne. U něj není problém ho do Tvheadend dostat a provozovat ho po celou dobu jeho životnosti. Já dnes kromě DVB-T přijímačů provozuji mp3 rádia, jeden playlist free IPTV mám taky a pak samozřejmě ten playlist od Zapni.tv:
[attachment=2704]

O2 TV ti playlist neposkytne, navíc, oni to mění hodně často. Také jsem je měl, zkusil jsem vytáhnout ty URL z prohlížeče a vložil je do Tvheadend, fungovalo to, ale právě jen tu chvíli, než to změnili. Takže ti zbývá vyzkoušet to Sledování. Nevím, jakou metodu autentizace používají, ale je pravděpodobné, že to bude podobné jako u ostatních. Takže se asi bude playlist také po čase měnit.

K tomu druhému dotazu nevím. Předpokládám, že používáš správný port: 9981. Mně to vždy fungovalo bez problémů a to jsem jich instaloval asi 5.

Velmi děkuji za odpověď. Zjistil jsem, že jsem stále instaloval klienta a ne server. Nicméně server jsem nikde v repo nenašel, odkud instaluješ ty? Já nějaký našel, ale ten nefunguje tuším, že má označení 4.2 (chyběly závislosti).

@terzdek Pokud na svém RPi3 používáš LibreELEC, tak Tvheadend server je v repozitáři LibreELEC Add-on, v části Služby.

Stav řešení k dnešnímu dni:

1. stažení playlistu - curl + cron
   
2. modifikace playlistu pro převod na ts stream - sh nebo python script
   
3. načtení playlistu, scan, mapování služeb, vymazání starých kanálů - python srcipt + příkazy http api Tvheadend
   
4. restart PVR - sh scripty, externí příkazy Kodi
   

Což znamená, že končím se základním výzkumem, v podstatě mi to chodí, s drobnými muškami. Teď to ještě trochu poladím a pak publikuji. Zatím několik informací pro netrpělivé:

ad. 1 S pomocí @mobilemanic a po přečtení helpu k curl , jsem dotáhl do úspěšného konce jak přihlašování, tak stahování playlistu ze Zapni.tv. Používám cookies, takže přihlašování proběhne pouze jednou, čímž jsem "tak nějak" splnil požadavek, aby to bylo "pokud možno bezpečené". Příkaz pro přihlášení:

curl 'https://moje.zapni.tv/sign/in' --data 'username=USERNAME&password=PASSWORD&do=signInForm-form-submit&send=P%C5%99ihl%C3%A1sit+se' -c zapni.tv.cookie.dat -o /dev/null

Cookie se ukládají do souboru zapni.tv.cookie.dat a pak se využijí při každém dalším stahování playlistu, kde už není třeba se přihlašovat. Příkaz pro stažení playlistu:

curl -b zapni.tv.cookie.dat 'https://moje.zapni.tv/tv/playlist.m3u' -o zapni.tv.playlist.m3u8

Playlist se tedy ukládá do souboru  zapni.tv.playlist.m3u8.

ad. 2 Zatím jsem vyrobil jen jednoduchý script, ve kterém se stáhne playlist a upraví se podle potřeb. Úprav provádím víc, jednak si vybírám kanály, které chci do Tvheadend vložit (nevkládám všechny, protože některé, které nabízí Zapni.tv už  přijímám přes DVB-T), setřídím je podle toho jak potřebuji a případně nahradím některé názvy kanálů (ne vždy jsou v playlistu Zapni.tv kanály se 100% správným názvem) a uložím na místo, kde ho očekává Tvheadend.

ad. 3 Tvheadend peridodicky kontroluje playlist a jakmile se v něm objeví nějaké změna, aktualizuje všechny kanály. Při této aktualizaci bohužel vymaže EPG (pravděpodobně bug), takže ještě spustím aktualizaci EPG. Z toho důvodu jsem na klientech nastavil asynchronní přenos EPG, takže na straně Kodi není třeba po aktualizaci EPG provádět žádnou další akci. Vše proběhne automaticky.

ad. 4 Žádný další restart neprovádím, Kodi se bohužel po této akci občas restartuje samo . To je nemilé a zatím jsem nepřišel na to, jak tomu zabránit. Je pravda, že k restartu není žádný důvod. Stačilo by maximálně kdyby se provedl restart PVR. Taky je to pravděpodobně bug, a tak bude třeba ještě nějaké laborování.

Můžete si všimnout, že vůbec neřeším co se stane, když kanál, který se aktualizuje, někdo sleduje nebo se právě nahrává. Na to jsem prostě rezignoval a momentálně nemám kapacitu ani chuť to nějak řešit. Možná později. Uvidím, jak moc to bude obtěžovat při běžné používání.

Pro ty, kteří se ptali, zda by šlo do Tvheadend zavést Sledování.tv jsem výše uvedl příkazy curl. Můžete tedy po jejich modifikaci (to se týká hlavně přihlašování) vyzkoušet, zda budete schopni playlist pomocí těchto příkazů stáhnout. Pokud ano, tak pak by už tomu, zcela automaticky dostat Sledování.tv do Tvheadend, nemělo nic stát v cestě.

Tak dnes jsem si ukrojil nějaký čas na to, abych se věnoval tomuto projektu. Nebudu vás unavovat už detaily o tom co jak bude fungovat, spíše jen ukážu, že se neflákám a nějak spěji ke splnění zadaného úkolu. Do funkce už nezasahuji, nějakou dobu mi to doma běží se Zapni.tv, a tak jsem se pokusil to zabalit jako addon. Původně jsme s tím chtěl jít na veřejnost už v okamžiku, kdy to jakž takž fungovalo, ale potenciální uživatel by k tomu potřeboval znát pár příkazů Linuxu a umět se pohybovat po příkazové řádce. Ta je, jak známo, pěkně úzká a tak jsem se pokusil dorazit to do konce aby z toho měli užitek především ti méně zkušení. Ti více zkušení možná něco takového už mají. Protože jsme dost zaměstnaný, vidím to na ale vydání první verze tak do týdne až 14 dní. Dřív to bohužel fakt nedám!

Addon se jmenuje Playlist, je postaven na pár sh scriptech a standardních aplikacích z LibreLEEC. Jiné zdroje, kromě standardních systémových, nepoužívá. Je postaven tak, aby ho mohl využívat jak naprostý laik, tak i někdo zkušenější. Instaluje se jako běžný addon, a jako běžný addon se nastavuje, ale vlastní běh probíhá na pozadí a mimo Kodi. To byl úmysl, protože je určen především ke spolupráci s Tvheadend backend serverem, který pracuje podobně.

Co se týče zdrojů, tak Playlist dnes umí bez problémů Zapni.tv. Celé řešení je koncipováno tak, aby bylo možné jednoduše, bez složitého zasahování do kódu, doplnit jakýkoliv další zdroj. Jeho automatické využívání má pouze jednu podmínku. Aby poskytovatel dal dispozici playlist a bylo možné ho, pomocí nějakých standardních nástrojů (v Playlist používám aplikaci curl), automaticky stáhnout. 

Už se tu pár lidí ptalo na Sledování.tv. Pokud umožňují stáhnout playlist a někdo, kdo ho má mi pomůže s analýzou kódu jejich stránek, tak by to problém pravděpodobně být neměl. Kdyby to šlo, klidně bych si ho na měsíc objednal, ale na žádné ze třech sítí, které mám k dispozici (UPC, O2 a T-Mobile), tato služba není dostupná.
Edit [2017-08-20 18:44]: Díky @koperfield, který mi vysvětlil, že v UPC se dá Sledování.tv klidně přijímat (já jsme dal na nějakou neověřenou informaci a ani si to nevyzkoušel  ), by tedy velmi pravděpodobně neměl být problém Sledování.tv do Playlist dostat také. Pokusím se o to ještě do vydání oficiální verze addon. 

Tak zatím jen pár ukázek:
[attachment=2747]

[attachment=2748]

[attachment=2749][attachment=2750][attachment=2751][attachment=2752][attachment=2753]