• Vítejte na XBMC-Kodi.cz
  • Česko-slovenská komunita fanoušků XBMC/Kodi
Vítejte návštevníku! Přihlášení Registrace


Hodnocení tématu:
  • 0 Hlas(ů) - 0 Průměr
  • 1
  • 2
  • 3
  • 4
  • 5
Servery Webshare - aktuální problémy, stav, zkušenosti, názory
#1
Problémy se servery Webshare

V minulosti vždy, když si některý uživatel stěžoval, že mu nejde plynule přehrávat obsah, který je dostupný v doplňku Stream Cinema Community (SCC), a že problém bude určitě na straně Webshare serverů, na kterých jsou soubory uloženy, tak jsme velmi často (tedy já určitě) poukazovali na to, že kdyby byly problémy na straně Webshare, tak že by ty problémy měl každý, a že tedy pravděpodoně bude problém spíše na jeho straně (dotyčný neměl nastaveno navýšení video cache nad default hodnoty nastavené v Kodi) nebo, že komunikaci mezi ním a servery Webshare ovlivňuje jeho provider nebo další provideří v profilu mezi ním a těmito servery.

Nyní, cca od konce loňského roku (2023), se ale situace dramaticky změnila. Ukazuje se, na základě měření a provnávání výsledků více uživatelů, kteří se dohodli na testování konkrétních streamů umístěných na konkrétních serverech Webshare, že skutečně na některých serverech je komunikace silně limitována. A to někdy až tak, že některé streamy nelze v některých časech ani přehrát. Při celé řadě různých pokusů bylo přitom zjištěna celá řada skutečností. Zkusím je zde jeden po druhém uvést s kratším či delším komentářem, případně ty skutečnosti doplním ještě dalším vysvětlením, které méně zkušeným uživatelům poskytnou vhled do celé problematiky. 
  • Jak bylo zatím zjištěno, problémy se týkají jen některých serverů - jak známo Webshare má obsah uložen na více serverech a problémy, které jsou nyní aktuální se týkají jen některých z nich. Momentálně se jako nejvíce problematický server například ukazuje server s adresou vip.16.dl.webshare.cz.
    • Označení serverů není v doplňku běžně dostupné, uživatelé je mohou zjisit buď pomocí funkcí operačního systému (např. iftop v *ELEC systémech) nebo v logu Kodi, případně, pokud používají některý z doplňků a skinů, které mu takovou informaci můžou poskytnout, tak tam.
    • Pozor na to, podle toho kde a jak se k adrese serverů dostanete, může se u nich lišit doména 2. řádu. V systému DNS je pro doménu 2. rádu použito označení webshare, ale např. v logu nebo v některých doplňcích se používá pro označení domény 2. řádu její synonymum, wsfiles. Jinými slovy, např. adresy serveru vip.16.dl.wsfiles.cz a vip.16.dl.webshare.cz jsou adresami jednoho a téhož serveru.
  • Často padá otázka, jaká by vlastně normální rychlost komunikace se serverem Webshare měla tedy být abychom, pokud si rychlost nějak změříme a je nižší, si mohli říci, že tento server má problémy. A tady je jedna základní potíž.
    • Všechno, co se o rychlosti komunikace serveru webshare můžeme dozvědět, se dozvíme z pozice systému, na kterém komunikace běží u nás doma. Znamená to tedy, že testujeme-li nějakou rychlost vůči serveru webshare, netestujeme zpravidla přímo rychlost komunikace tohoto server, ale rychlost na celém profilu komunikace mezi námi a tímto serverem. A tato rychlost je dána tím nejslabším místem v takové komunikaci a opět, zpravidla to (za normálních okolností) nemusí být (a pochopitelně ani není) rychlostí komunikace vlastního serveru.
    • Co předchozí bod znamená? Například to, že pro někoho, který má onu rychlost komunikace v celém profilu nízkou, tedy výrazně nižší, než je aktuální rychlost komunikace serveru webshare, tak pokles rychlosti na straně webshare serveru nemusí nepocít. To někd yvysvětluje to, že někdo píše, že mu přehrávání nefunguje, zatímco jiný ve stejné chvíli vesele přehrává.
  • Jak tedy o potížích na straně problematického serveru víme?
    • Jednak tak, že je absolutní rychlost komunikace v daném porfilu nižší, než u jiných serverů Webshare.
    • Dalším kritériem je, že ta rychlost komunikace kolísá. Tady asi je třeba uvést příklad:
      • Pokud já (má maximální rychlost komuniace je 150 Mbps a v profilu k serverům Webshare nejsem zpravidla svým providerem nijak zásadně omezován) se serverem Webshare, který "je v pořádku", komunkuji, tak ta komunikace (záleží samozřejmě v jakém režimu, takže pro takováto měření používám download nějakého souboru pomocí nějaké systémové aplikace - nejčastěji wget) dosáhne maximální rychlosti mého tarifu, tedy 150 Mbps, a na této hodotě se víceméně drží po celou dobu komunikace, resp. stahování souboru.
      • Pokud to samé provedu se serverem, která "má problémy", tak se v různých časech dne maximální rychlost komunikace sníží, někdy méně, jindy více, ale co je typické např. pro již zmíněný server vip.16.dl.webshare.cz, tak se v čase hodně mění, kolísá. A ty změny mohou být opravdu výrazné. Například takové, že v jedné chvíli je rychlost 10Mbps, za pár vteřin na to vyskočí až třeba ke 120 Mbps. Pokud hned vzápětí totéž měření provedu při stahování souboru s jiným Webshare serverem, který "problémy nemá", tak tam po celou dobu downloadu je rychlost komunikace víceméně stejná, 150 Mbps.
  • Co je dál důležité, to je to, že problematické chování komunikace, kolísání rychlosti, je závislé na denní době. Výrazně se projevuje zejména v časech kolem tzv. "prime time", kdy pokles rychlosti komunikace je výraznější. A to tak, že v kritických časech rychlost poklesne mnohdy tak, že streamy, které jsou obsahem souborů, nejde vůbec přehrávat.
    • Ale i tady jsou u různých uživatelů různé zkušenosti. Někdo streamy z problematického serveru i v prime time přehrát ještě dokáže, jiný ne. Tady asi hrají roli i v úvodu zmiňované aspekty, které mohou působit i současně.
      • Jedním a tím výchozím je tedy problém na straně Webshare serveru,
      • dalším ale může současně být i problém s případným omezování ze strany providera v prime time,
      • a konečně posledním i vliv maximální rychlost tarifu. Pokud na problémovém serveru rychlost kolísá (a řekli jsme si dříve, že ten rozptyl může být hodně veliký - u mne činí, podle včerejšího večerního měření, například i 10 - 129 Mbps, tak u někoho, kdo má rychlost tarifu vyšší se v době, kdy je ta rychlost spíše u vyšší hranice stačí do cache načíst více dat než u toho, kdo má maximální rychlost tarifu nízkou.
Samozřejmě se diskutuje o tom, co za tím, co se na některých Webshare serverech děje, vlastně je. Existuje několik hypotéz:
  1. problematické servery nejsou v dobré kondici (HW) a nezvládají projektovanou zátěž,
  2. na problematických serverch běží nějaký další provoz, zvyšující base load, takže provoz směrem k uživateům používajcím doplněk SCC je tímto baseload-em, omezen - další provoz třeba proto, že  Webshare paralelně data stahuje na jiné úložiště
  3. problematické servery jsou umístěny v jiné lokalitě, která má zcela jiné parametry připojení k majoritní skupině uživatelů SCC - tzn. že Webshare už přesunula některé servery do jiného místa, které má po síti jiné parametry dostupnosti (absolutně, v čase, kvalitou připojení, ...)
  4. problematické servery mají zásadně jinou HW konfiguraci - například mohou mít zásadně větší diskovou kapacitu, tzn. že se u nich může projevit vyšší míra závislosti výkonu na počtu připojených klientů a počtu a objemu aktuálního stahování.
  5. Webshare samo se snaží (z nějakého důvodu) provoz na problematických serverech omezovat (škrtit)
Nechápejte tento text jako absolutní a jediné správné vysvětlení toho, co se v současné době (leden 2024) děje. Je to jen pokus o shrnutí několika zásadních bodů a úvahy o možných příčinách tohoto stavu.

Asi bude mnoho lidí zajíma, co se s tím dá dělat. Na to je odpověď těžká. Kromě toho, že Webshare nahlásíme, že na některých jejich serevrech vidíme jistá omezení. Ten pokus byl již učiněn a Webshare odpovědělo v duchu tradic. Tedy že problém je na straně SCC. To ale můžeme chápat jako obvyklou první odpověď od pracovníka Help Desk-u. Známe, jak to v takovýchto situacích obvykle vypadá...
 
Citovat
#2
@JiRo: Pro 99% lidí je smysluplný ten poslední odstavec.
A odpověď Webshare je očekávatelná a ve smyslu: "My s SCC nemáme nic společného."
Kdo soudný čekal něco jiného od úložiště fungujícího podle zákonného rámce?

Jestli nebude zakopaný pes v hledání moderního určení pro WS, například v účasti na boomu Ai (GPT) a překopávání struktury a výkonu na nové výdělečné trendy. Kdo chvilku stál už stojí opodál.
(Jen dohad obchodního směřování.)
 
Citovat
#3
Jaké mohou být rozdíly mezi jednotlivými servery Webshare?

To, že mezi jednotlivýmí servery Webshare mohou být dost značné rozdíly, je už věc poměrně známá. Abych to dokumentoval, ukáži postupně výsledky mých měření. Dnes tedy měření provedené při stahování dvou přibližně stejných souborů ze dvou různých serverů. Začal jsem dobou v závěru dne, mezi 23:15 a 00:15. Nejdříve jsem stahovat soubor 20 GB ze serveru vip.17.dl a průběh rychlosti v závislosti na čase je vidět zde:
   
V druhém případě jsem stahoval soubor 22 GB ze serveru 9.dl:
   
Rozdíly jsou celkem zřejmé. Příště provedu podobný test, ale v jiných časech, během dne nebo v tzv. prime time, tedy kolem 20. hodiny.
 
Citovat
#4
Stahování souboru 20 GB ze serveru vip.17.dl, spuštěno v 10:20. Ukazuje, že zátěž serveru omezuje rychlost i mimo prime time, pokles ale nemusí být tak značný, aby plynulost přehráváni ovlivnil. Záleží samozřejmě na parametrech video cache, na průměrném bitrate přehrávaného videa a samozřejmě i na maximální rychlosti připojení (tarifu):
   
A pro porovnání přidávám (možná už zbytečně) příklad stahování souboru 22 GB ze serveru 9.dl:
   
Ještě provedu poslední testovací měření v prime time, tedy kolem 20. hodiny.
 
Citovat
#5
Nakonec jsem, ještě před posledním testem v prime time, provedl neplánovaně jeden další, protože jsme si všiml, že i kolem 17. hodiny občas nějaké problémy bývají také. Možná to souvisí s tím, že si lidé, po příchodu z práce, stahují tituly na večerní sledování. 1 Takže opět tradičně stahování souboru 20 GB ze serveru vip.17.dl, spuštěno v 17:00. Tady už je v rychlosti stahování v čase 17:11 - 17:14 pořádná díra, kterou by, při streamu s vyšším bitrate, video cache už nepokryla.
   

Často padá otázka, kolik serverů Webshare ve své službě vlastně používá. Oficiálně se to asi nijak zjistit nedá, nicméně sledováním zdrojů streamů jsem dosud narazil na následující:

server_names = {0, vip.1, vip.2, vip.3, vip.4, vip.5, vip.6, vip.7, 8, 9, 11, 12, 13, 14, 15, vip.16, vip.17}

Adresa jednotlivých serverů, přístupná z internetu, je pak:

<server_name>.dl.wsfiles.cz nebo <server_name>.dl.webshare.cz
 
Citovat
#6
A poslední test, opět stahování stahování souboru 20 GB ze serveru vip.17.dl, spuštěno v 19:55.
   
 
Citovat
#7
Síce tu moc na fóre moc nepíšem. Skôr som pozorovateľ, ale nechce sa mi veriť tomu, že ste po x rokoch prišli nato, že WS má problém so servermi. Ja som toto sledoval ešte za starého SC modulu,... a to som nrmal žiadni gbitový connect...

Na jednej strane môžme byť radi za WS , na strane druhej, to tak vyzerá, že hoši z WS nemajú motiváciu niečo riešiť, a je naivné si myslieť že o tom nevedia... budú to len zatĺkať.

Bojím sa, že to bude časom len a len horšie :/a budeme odkázaný na ofiko zdroje. Som.pesimista?.alebo realista?

Napadá ma riešenie, aj keď viem že je to asi nereálne. Ale v prípade že WS spraví zo dňa na deň shutdown, tak jediné riešenie je mirror celého WS na "vlastné" servery.
A95x F3 Air (CPU: S905x3, 4GB RAM, GPU: Mali-G31, 64GB ROM) Kodi 18.x
OrangePi PC (Installing...)
 
Citovat
#8
@Misho Nemáš pravdu. Se servery Webshare dříve žádné problémy nebyly. Dnes je to tak, že problematické jsou ze všech serverů (viz seznam zde), na kterých jsou uložena data využívaná SCC, pouze servery dva, vip.16.dl a vip.17.dl. Pokud jsi kdy měl dříve nějaké problémy s rychlostí stahování, bylo to, kromě výjimečných poruch, které ale Webshare poměrně rychle opravovalo, zásadně pouze problémy přenosu mezi Webshare a koncovým zařízením. Nejčastěji šlo o problémy způsoběné chybným nebo úmyslným nastavením koncových poskytovatelů, často cílené právě na servery Webshare. To platí i pro dobu, kdy služby Webshare využíval ještě doplněk SC.

Probírali jsme to tady několikrát, názory podobné těm tvým měli občas i někteří další  uživatelé, ale vždy se ukázalo, že servery Webshare žádné zásadní a soustavné problémy nikdy dříve neměly. Já sám mám připojení velmi stabilní, dlouhodobě (s výjimkou dvou výše zmíněných serverů, a to teprve od prosince roku 2023) při stahování z Webshare dosahuji rychlosti 90 - 100 % rychlosti mého tarifu. Velmi intenzivně doma využíváme SCC (od počátku jeho vzniku) a podobné to bylo i v případě SC a nikdy jsme problémy s přenosovou rychlostí neměli. Kdyby byly problémy na straně Webshare serevrů, jistě bychom to pocítili také. A to se ale za celou dobu existence SC i SCC nestalo.

Můžeš mi věřit. Věnoval jsem sledování datového toku poměrně hodně času, kvůli tomu jsem si i vyrobil addon Speed Meter a rychlost na rozhraní boxu, na kterém mi běž í Kodi, si zobrazuji i při přehrávání videa ve full screen, takže o ní mám opravdu soustavný přehled. Provedl jsem v posledních letech celou řadu dalších měření a pokusů, mezi jiným i proto, abych pochopil a popsal funkci video cache v Kodi. Proto jsem si svým tvrzením, které mám podložené daty (viz téma Kodi, mýty a fakta) skutečně jistý.

Pravdu máš v tom, že to s SCC bude stále horší a horší. Jestli se to týká i serverů Webshare to neumím posoudit. Zatím se to z těch 16 serverů, na kterých jsou uložena data, která využívá SCC, týká pouze dvou z nich. Těch přidaných jako poslední. Ale o tomhle je vlastně celé toto vlákno, které jsem právě za tímto účelem výměny informací o tomto tématu založil. A ani v něm nenajdeš nic, co by tvůj názor "nechce sa mi veriť tomu, že ste po x rokoch prišli nato, že WS má problém so servermi", potvrzovalo. V tom se skutečně mýlíš. Všechny servery Webshare až do prosince roku 2023 byly bez problémů, a od toho data je bez problémů i většina z nich.

Neber si to osobně. Je důležité to uvést na pravou míru, aby si lidé uvědomili, kde a jaké problémy je mohou potkat. Tedy, že případné problémy Webshare jsou jen jednou z možných příčin a aby nepřestali řešit případný podíl na problémech u jejich providerů, případně, aby se nezamysleli nad tím, jak mají nastaveno své Kodi (video cache), případně, jaké streamy si pro přehrávání vybírají.

Jen pro ilustraci, přehrál jsem teď první tři minuty Top Gun: Maverick, stream 4K DV+HDR, 65,70 GB, průměrný bitrate 68,888 Mbps a záznam rychlosti načítání dat je uveden níže. Na něm je celkem jasně vidět, že načítání video cache běželo rychlostí blízkou maximální rychlostí tarifu tedy 150 Mbps). Podobné výsledky jsou vidět i v mých několika příspěvcích tohoto tématu, kde jsem podobná data stahoval (tedy nepřehrával, takže po celou po celou dobu mohlo stahování běžet vždy maximální možnou rychlostí). Jasně je tam vidět i porovnání jednoho z problematických serverů (tam je ten pokles jasně vidět) s jiným, který žádné anomálie nevykazuje (a u kterého žádný výrazný pokles nebyl pozorován).
   
 
Citovat
#9
@Misho: Mirror na Slovensku už máte, SC BBaron. Odkázaný na ofiko zdroje znamená podporu dodavatele obsahu a oficiální klienty - optimista?
::
Je logické, že v předchozích obdobích byly méně propustné sítě a méně abonentů na WS. Úzké hrdlo bylo spíš na poslední míli, kdy provider musel uspokojit co nejvíce klientů - potom si pomáhal i utajeným FUP.

Velký boom a reklama na sociálních sítích způsobily soudobý nárůst dobře připojených klientů (majitelů 4K zobrazovadel) tahajících data z WS - Ten sice navyšuje objemy datových úložišť ale nákup kapacit může existovat za různými internetovými uzly a u nevyrovnaně výkonných cloudů.

Sám se podivuji nad rozdíly u různých objemů, kterým neodpovídá kvalita skutečného toku dat. Menší běží hůř.

Že nabývá na důležitosti dobře vybalancované nastavení datové cache Kodi pochopili i tvůrci poslední verze 21 a přidali je do menu Služby. Ale o tom už jsou na fóru informace.
Strategie využívání video-cache
Jak nejlépe nastavit video-cache
Kodi 20 -LibreELEC/LinuxMint/Win/Android -RPi4/3/2/ IntelPC/xMiStick4K -Router 1Gbit 2.4+5GHz
 
Citovat
#10
Dnes opět jedno měření, vyvolané příspěvkem jednoho uživatele na fóru streamcinema.cz. Docela zajímavé, takže ho umístím i zde, včetně původního komentáře.

Takže ještě jedno měření, tentokrát stahování souboru o velikost 13 GB ze serveru vip.16.

Zvolil jsem dnešní den, tedy sobotu dopoledne, což je také jeden z časů, kdy je zatížení webshare poměrně velké. Jeho náběh je ale pozvolnější, než v čase kolem 20. hodiny. Tam se sledování většinu pouští po zprávách a tak je pravděpodobnost, že se najednou sejde více zahájených přehrávání, větší. V sobotu ráno je ten náběh pozvolný, daný tím, jak se dětičky postupně probouzí a sedají si ke svým oblíbeným filmům a seriálům. Proto jsem měřil 3x, vždy s odstupen cca 1 hodiny. Zahájení přehrávání je tedy v 8:06, v 9:08 a 10:15. Srovnal jsme to do jednoho grafu a myslím, že je to docela výmluvné.

   
Pozn. Rychlosti v grafu i jeho legendě jsou vždy v Mbps, maximální rychlost mého tarifu je 150 Mbps. Vlastní měření probíhá v 5 sekundových intervalech a vychází se vždy z počtu přenesených byte za tento interval na komunikačním rozhraní (eth) boxu.

Myslím, že to je další kamínek do mozaiky úvah, co za tím chováním serverů vip.16 a vip.17 asi je. Myslím, že můžeme opustit všechny konspirační teorie a spokojit se s jednoduchým vysvětlením, že HW těchto dvou serverů prostě nezvládá vysokou zátěž. Možná je to tím, že je HW slabší, možná také proto, že je na něm uloženo více obsahu. Tomu také odpovídají zkušenosti těch, kteří mají připojení výrazně pomalejší a přitom i jim rychlost klesá proporcionálně stejně jako u lidí s připojení o řád vyšším.
 
Citovat
#11
Doneslo se ke mně několik dalších stížností na chování serverů Webshare. Zatímco ještě nedávno byly mezi servery, které měly zásadní problémy pouze vip.16 a vip.17, vypadá to, že v současné době jsou v podobném stavu i další.

Zběžně jsem jich pár monitoroval a na jednoznačnou identifikaci tak, jako u dvou výše zmíněných, to nevypadá. Ale nějaký progress a opakující se vzorce chování tam jsou vidět. Včera v prime time jsem se na tarifu s maximem 150 Mbps nedostal při stahování 5 GB ze serveru 12 přes 40 Mbps.

Dnes (kolem 17:30) při postupném testu (délka stahování cca 30 nebo 60 vteřin) všech serverů, kde většina (včetně serveru 12) byla kolem 120 až 130 Mbps, měl server 13 průměr 77 Mbps a server 15 pak průměr 69 Mbps.
   
A právě teď, stejné stahování ze serveru 12 jako včera, rychlost kolísá od minima kolem 30 Mbps do maxima kolem 140 Mbps. Ty poklesy jsou krátkodobé, vždy tak na max 30 vteřin, což by cachce mohla pokrýt, průměr se ale držel kolem 120 Mbps.
 
Citovat
  


Přejít na fórum:


Prochází: 2 host(ů)