[cache]

Pokusam sa aktualne vytvorit vylepsenie comba tmdb helper + yawsp. Potreboval by som prediskutovat ako co najvhodnejsie dohladavat vysledky.

Idea - skombinovat vysledky roznych kombinacii vyhladavania

Prva iteracia bola, ze ziskam z tmdb anglicky, cesky a slovensky nazov. Vyhladam kazdy a zlucim vysledky
Druha iteracia, ze sa pridali dalsie dohladavania nazov + rok pre kazdy jazyk.

Nasledne som nahodne zistil, ze napriklad pre "Rogue One: A Star Wars Story" nenajde ziadne relevantne, pretoze vsetky su tam nahrate len ako "Rogue One". Tak som pridal, ze ak sa v nazve nachadza ":" alebo "-" tak nazov splitne a vyhlada vsetky casti, vo vsetkych jazykoch a aj s rokom (uz sa ten pocet requestov kopi)..

Nasledne som prisiel na to, ze kopec chytrakov nahrava tak, ze tam pridava podtrzniky, takze vsetko doterajsie *2, pretoze kazdy pokus este s podtrznikmi (napr.: R_o_g_u_e o_n_e) ale to uz zacina nachadzat strasne vela blbosti, aj ked to najde aj relevantny vysledok..

Ako vhodne zostavit co vlastne hladat, aby sme ziskali co najlepsie vysledky?

[karci78]

Ja by som hľadal len en a cz názov...sk je zbytočné,vacsina ide po cz dabingu a tak sa tie filmy aj distribuujú...

Zaradil by som len dve varianty hľadania... slová oddelené medzerami ako píšu ľudia a potom slová oddelené bodkami.... Pomlcky,podtrzniky by som ignoroval... pokiaľ ani vtedy nič nenájde, bohužiaľ. Užívateľ musí zapojiť fantáziu a hľadať ručne.

Ale to je len môj názor. Neviem čo všetko dokážeš naprogramovať.

[rozumvhrsti]

Dobre zvazte ...počty api požadavků..., ci chcete aby veci fungovali ludom, co vedia, alebo nefungovali vsetkym.

[smazany-uzivatel-21]

@rozumvhrsti:  tvle jak tohle muze napsat nekdo jako ty. Vsak ty jsi byl jeden z prvnich co tady vsude verejne sdilel vsechno. Ty jsi hrozny klaun

[cache]

@karci78: 

Ak by som nehladal aj slovensky nazov, nenajde mi napriklad - Neobyčajný-svet-WEBRip-CZ-SK-2022.mkv.
A ak by som nehladal s podtrznikmi, nenajdem ani R_O_G_U_E-O_N_E-S_T_A_R-W_A_R_S-S_T_O_R_Y.mkv.

Uz som ale vyznamne zredukoval vysledky, aplikovanim filtra, ze musi byt v nazve aspon jedno slovo z povodne hladanych kombinacii, takze vypadli uplne blbiny.

@rozumvhrsti: 

Stale je to menej requestov ako ten fork, co generuje databazu serialov.. ale ano, pridam tam aj nejaku cache, aby nehladalo opakovane.

[JiRo]

Já si delší dobu hraji s konceptem search scriptu pro Kodi, ve kterém někdy v budoucnosti plánuji používat univerzální modul, kterému pracovně říkám multisearch. A tam v podstatě kombinuji různá strategie, od elastic search, přes různé regex masky, a další méně sofistikované postupy, některé podobné těm, které naznačuješ. Snažím se tak spojit několik strategií do multithreadového algoritmu. Vede to samozřejmě k vícenásobným requestům, ale já se snažím v každém kroku vyhodnotit úspěšnost a ty méně úspěšné cesty ve stromu prohledávání zastavuji. Tak trochu se při tom inspiruji prastarými algoritmy rozpoznávání textu.

Jinak na ten případ podobný Rogue one jsem narazil několikrát také. Vyhodnotil jsem si to tak, že prohledávám per partes. Zjednodušeně, podle titulu či jeho jednotlivých částí a pak, případně, podle podtitulu. Ona má varez scéna několik poměrně jednoduchých pravidel, jak soubory pojmenovávat, Kodi na to taky vlastně navazuje, ty jeho regex-y používané pro scrapování jsou hodně podobné. Bohužel většina uploaderů na WS se tím moc neinspirovala.

Já ale na to, abych dosáhl stavu, kdy se trefím do jednohu souboru a ten si rovnou přehrál, moc necílím. Spíše směřuju k tomu, že si vyberu z toho, co se najde, soubor, třeba si ho i cvičně spustím, abych viděl, jestli je to OK a pak si ho pošlu na NAS, kde se začne stahovat a ukládá se už pod jménem, které Kodi bez problémů zařadí do knihovny.

Teď ale na to všechno moc času a vlastně ani chuti programovat nemám, takže pro to, čím se zabývám teď, je YAWsP úplně dostatečný, a pro další si ho do scriptu zařadím jen jako jeden z vyhledávací enginů tak, jak je. Jediné, co bych na něm měnil je forma výstupu, kdy bych se přimlouval za nějaký standardní výstup tak, jak je to v Kodi správné. Někde výše jsem to prezentoval, a taky si i u sebe změnil.

[cache]

@JiRo: ja tiez necielim na to, aby naslo jeden subor. Povodne som chcel, aby naslo vysledky multijazykovo, len ono sa to v tom prototype postupne nafukuje.. 

Elastic musi mat vopred zindexovany obsah, cize inak povedane, musel by si nejako indexovat cely webshare, aby si nasledne hladal v elasticu, to prilis realne nevidim 

[JiRo]

@cache: Ne, já nemyslím použít elastic na celý obsah, ale právě jen jeho dílčí postupy při prohledávání výsledků z růzých zdrojů nebo více requestů z jednoho zdroje...

[radolaco]

Neviete ci je nejaka sanca, ze by sa dalo prehladalavat aj hlavicky (meta data) video suborov?

[JiRo]

@radolaco: Vždyť tam funkce je, v kontextovém menu.

[radolaco]

@radolaco: Vždyť tam funkce je, v kontextovém menu.

myslel som, ze tak ako teraz vyhladavame v nazve suboru na webshare tak by sa dalo vyhladavat v meta datach video suborov. Aby pokial sa subor vola "sdfgds3g8dfgsa34dfgfdhfhfg" tak pokial, ale v skutocnosti je to film "Titanic" tak, aby ho naslo ked dam hladat string "Titanic".

[JiRo]

@radolaco: No, záleží vlastně na tom, o jaká metadata máš zájem. Já měl na mysli metadata o parametrech souboru a streamu v něm. Tobě jde o metadata titutulu, které ale z dat souboru a streamu v něm nezískáš. Ta si musíš získat před zadání vyhledávání (TMDb, IMDb, apod. - taková rozšíření YAWsP existují) a pak vyhledávat podle názvu souborů, čímže ta metadata umožní vytvořit relaci se souborem a případně jeho metadaty.

V případě, že je ale soubor (ne)pojmenovaný náhodnou kombinací znaků, tak ho nemáš podle čeho vyhledat a žádnou relaci tak nevytvoříš. U většiny takto (ne)pojmenovaných souborů, které budou nejčastěji obsahovat mkv kontejner, by se název soubor, nebo třeba popis, dá zjistit. Ale bude to fungovat jen tehdy, pokud tam ty informace byly při vytváření kontejneru správně uloženy, což nebylo vždycky nebo spíše jen málokdy. Vlastně to pak je stejné, jako se zjišťují metadata o parmetrech souboru a streamu v něm. Ale v obou případech až expost, tedy v okamžiku, když ti vyhledání vrátí seznam souborů a i v takovém případě soubor po souboru, což pro celý vrácený seznam může trvat hodně dlouho. Takže pro letmé zpracování je to nepoužitelné.

[radolaco]

ved toho sa obavam, ze aj keby to bolo technicky mozne, tak by to bolo ukrutne pomale lebo by musel fakticky  citat vsetky video subory na webshare

[jastrab]

Asi moc to nema vyznam, pokial nemas DB od zdroja, co to tam dal.
Ked som robil analyzu na stovkach suborov tak:
Metadata ma cca 13% suborov, z toho 80% ma aj normalny nazov prip. nic nehovoriaci nazov v meta datach

Takze male percento suborov, ktore ma nic nehovoriaci nazov aj aj metadata.
Napr:
==========
 nazov suboru: du19r27drs
 nazov z metadat: Drsnej Shaft (2000)
==========
 nazov suboru: du28b63lit
 nazov z metadat: Lítám v tom (2009)
==========
 nazov suboru: 85y69xfhc28v06.tra
 nazov z metadat: Traffic - Nadvláda gangů (2000)
==========
 nazov suboru: ho08fklymb
 nazov z metadat: ho08fklymb
==========
 nazov suboru: ho07hjfcshgjh
 nazov z metadat: ho07hjfcshgjh
==========

Za cias doplnku uz dalavli upravene nazvy aj metadata, aby nebolo mozne podla nich identifikovat film.

Takze vacsiu sancu mas spravit analyzu zo screenshotov ako z metadat ;)

[smazany-uzivatel-21]

@jastrab:  proto jedina volba je proste mit nejakou DB propojenou s TMDB napriklad, ktera bude podle nazvu hledat soubory, ktere je pak mozne prohnat necim co nam rekne co to ma za audio, video a tak. Do te doby je to bez nejake DB proste jen hledani souboru v te ci one podobe, dle forku

[elektrikar]

AHoj kluci...  doufám, že píši do správného vlákna a poradíte.
Mám sat.přístroj VU+solo4k (image VTI 15.0.0) a v něm KODI 17.0 (ano starší, ale i filmy ve 4k přehrávané  přes SCC jely).
po umrtí SCC bych chtěl narvat do KODI plugin stremio.... jenže na stránchách je sice veliký výběr souborů pro různé zařízení (od Widli, přes jabka, po LG tv až po rpi), ale na linuxový pístroj   (koncovka .zip , nebo .apk) tam není , dále je otázka kompatibility...   takže poradíte, kde by bylo možno stáhnout, případně, jak? díky
WS mám ještě 250dní aktivní.

---

Tak mě napadlo, dělal jsem plugin s propojením Stremio -> IMDB -> Webshare
Dostal jsem se do stádia, kdy vyberu film, plugin to prožene skrz IMDB a vyhledá na websharu. Získá všechny relevantní výsledky a ty poté odešle do Stremia a zobrazí, to funguje.. Horší je už přehrání, tam už je problém s vícero věcmi... Pokud by někdo měl náladu a sílu, můžu poskytnout repozitář v Githubu a třeba někdo bude mít náladu jej zprovoznit plně
Říkal jsem si, že Stremio je fajn v tom, že umí zobrazovat filmy jako takové a nemusím je vyhledávat jako je to do teď v YAWsP.

V jakém HW prohlížíš? máš to jen v PC, nebo na TV , nebo jinde? hledám, zda by měkdo stremio mohl udělat na Linuxový přístroj  a to konkrétně na VU+.

[bruntythewolf]

No Začíná to být zajímavé

---

S tím hledáním je to fakt těžký... Mám tam dost přísnej algoritmus, ale stejně se tam občas vloudí blbosti... To by chtělo databázi, ideálně DB -> přeupload pod random jménem a zpátky do DB a do výsledků hledání pro ten film, ale to je teď dost velký risk, je to dost hlídaný.

[HelloThere]

Ahoj borci,
kdybyste potřebovali pomoc s nějakou ruční indexací, rád přiložím ruku k dílu – pár chvil bych si na to určitě našel.
Díky moc za to, co děláte a o co se tady snažíte. Vážíme si toho a rád se zapojím.
Děkuji @cache: za tento doplněk.

[JiRo]

Tak jsem si hrál s vyhledáváním, zatím mimo Kodi, a zkoušel různé verze strategií. Jednoznačně se osvědčilo jít cestou (resp. to je asi jediná možnost) multithredu, kde postupně spouštím api requesty pro různé kombinace patternů. Zkusil jsem do toho také zapracovat jednoduchý algoritmus inkrementálního indexování výsledků z jednotlivých threadů, což pak může zvýšit rychlost zpracování kumulovaného obsahu ze všech threadů.

Jako cvičení je to fajn. Snažím se to pojmout obecněji tak, aby bylo možné tu sílu a kvalitu výsledků škálovat a také si hrát s konstrukcí patternů na straně requestů i regex-y na straně zpracování výsledků. Více threadů, lepší výsledky, ale vyšší zátěž CPU. Zatím jsem to testoval jen na filmech, ale je jasné, že pro seriály by tam ještě "pár větví do stromu prohledávání" mělo přibýt.

Je tam samozřejmě jasný limit zátěže CPU (i když krátkodobé) a času. Zatím to testuji na stroji s CPU i5 a snažím se držet nějakých rozumných dob pro běh. Ale je jasné, že pro ARM budou ty časy o mnoho delší. Navíc, Python v Kodi je standardní, tedy s GIL, takže tohle je/bude nepřekročitelné omezení.

---

Závěr je tady jednoduchý. Protože nemám formální vdělání v oboru zpracování dat, je další pokrok tímto směrem, kdy sázím jen na intuici a pomoc AI, stále těžší. Navíc s perspektivou, že jednoho dne Webshare api zavře a bude to k ničemu. Taže dobrý pokus, ale raději se budu věnovat něčemu perspektivnějšímu.

[bruntythewolf]

@JiRo: Pěkná práce, já to momentálně řeším validacemi, to znamená, že si vytáhnu CZ/EN jméno z TMDb to proženu skrz generate_title_variants (kdo ví tak ví Nechci tady vypisovat co to vše dělá jméno říká vše) ten vyhledá všechny výsledky (limit na 500) a prožene to skrz calculate_match_score kde už se skórují výsledky a až potom to servíruju s daty Například screen... Ale není to dokonalé, nejlepší by bylo DB a scrapovat Webshare - reuplodovat apod... Ale nechci tam bušit ze svého serveru a IP A kupovat to... No nevím