Bug #39

Nntpgrab crashed bij het verwerken van laatste nzb file

Added by Dennis about 4 years ago. Updated almost 4 years ago.

Status:Closed Start:06/27/2010
Priority:Normal Due date:
Assigned to:Alguno % Done:

0%

Category:NNTPGrab Core
Target version:0.7.0
Votes: 1

Description

Bij het verwerken van laatste nzb file crashed nntpgrab dus bij meerdere nzb bestanden werkt hij deze wel goed af maar bij laatste gaat het weer fout.

txt Bestand toegevoegd met gevraagde debug info, sorry dat het zo lang duurde heb het erg druk....

Verder een zeer goed programma thx.....

Dennis

nzb_crash_debug_info (15 KB) Dennis, 06/27/2010 11:51 am

nzb_crash_debug_info (24.1 KB) Dennis, 06/27/2010 03:21 pm

strace.txt (10.4 KB) hurricaneharry, 07/29/2010 02:15 pm

gdb.txt - gdb output (51.8 KB) hurricaneharry, 07/29/2010 02:29 pm

nntpgrab.log (682 Bytes) feonx, 07/30/2010 04:52 pm

nntpgrab.log (1 KB) hurricaneharry, 07/30/2010 06:38 pm

valgrind_gstreamer.txt (1 KB) hurricaneharry, 07/30/2010 08:35 pm

valgrind_gstreamer1.txt (1 KB) hurricaneharry, 07/30/2010 08:35 pm

valgrind_libproxy.txt (1.8 KB) hurricaneharry, 07/30/2010 08:51 pm

valgrind_libproxy1.txt (1 KB) hurricaneharry, 07/30/2010 08:51 pm

nntpgrab.log (4.6 KB) hurricaneharry, 07/31/2010 03:17 pm

nntpgrab.log (1.8 KB) hurricaneharry, 07/31/2010 03:48 pm

Associated revisions

Revision 1728
Added by Alguno about 4 years ago

Commit 1682 introduced a regression where the par2 repair would always fail on Linux environments
where the original par2cmdline is used (instead of par2_tbb). Should be fixed now. Fixes #52. Refs #39

History

Updated by Alguno about 4 years ago

Bedankt voor de debug info.
Uit de geleverde debug info is het helaas niet direct duidelijk wat er mis gaat, er is dus meer informatie nodig.
Wanneer treedt de crash precies op?
Is dit na het nadat je meerdere NZB bestanden achter elkaar geïmporteerd hebt
of pas tijdens het downloaden hiervan? Maak je gebruik van de automatische NZB import
functionaliteit of van het NZB importeren knopje in het programma om de bestanden te importeren?

Updated by Dennis about 4 years ago

Alguno wrote:

Bedankt voor de debug info. Uit de geleverde debug info is het helaas niet direct duidelijk wat er mis gaat, er is dus meer informatie nodig. Wanneer treedt de crash precies op? Is dit na het nadat je meerdere NZB bestanden achter elkaar geïmporteerd hebt of pas tijdens het downloaden hiervan? Maak je gebruik van de automatische NZB import functionaliteit of van het NZB importeren knopje in het programma om de bestanden te importeren?

Maak geen gebruik van auto import nzb files (voeg handmatig nzb file toe aan q), probleem vindt plaats bij het laatste nzb filetje verwerken, dus als ik 1 nzb file importeer bij de eerste voeg ik meer nzb files toe na de eerste en hij is nog niet klaar met verwerken van het eerste nzb filetje dan loopt hij gewoon door (hij verwerkt gewoon het volgende filetje) tot het laatste filetje waar hij weer crashed aan het einde van het downloaden.
Opstarten van NNTPgrab zorgt er voor dat hij weer start waar hij gestopt is en crashed weer na verwerken van laatste nzb file dit kan een aantal keren achter elkaar gebeuren totdat hij klaar is.

File toegevoegd is uitdraai van 2 crashes achter elkaar 2de crash is het weer opstarten van NNTPGRAB nadat het vast liep op laatste nzb file zoals je ziet loopt hij na 2de keer opstarten weer vast.

Dennis

Updated by Alguno about 4 years ago

Zou je soms een logfile willen uploaden van NNTPGrab zelf? Je dient deze eerst te activeren door de 'Logger' plugin te laden in het 'Beheer plugins' venster en daarna een vinkje te zetten in het configuratie-onderdeel 'Plugins' bij de optie 'Activeer logging'. Mocht het programma nu weer crashen (en de logging optie staat aan) dan kan je de logfile vinden in /home/dennis/.config/NNTPGrab/nntpgrab.log

Updated by hurricaneharry about 4 years ago

Ik heb last van dezelfde symtomen, op Ubuntu 10.04.
Tevens valt hierbij op te merken dat de optie 'Activeer logging' bij mij geen effect heeft, er wordt geen logfile aangemaakt.

Updated by feonx about 4 years ago

Hello,

Thanks for the nice program keep up the good work.
I got the exact same issue since I installed ubuntu 10.04.

I've created a video to show the developers of nntpgrab I hope it helps.
Here is the video: http://feonx.com/stuff/nntpgrab-issue.mpeg

I hope you guys can fix it!

Kind requards,

Mike

Updated by feonx about 4 years ago

Oh... nederlands was het .... ff vergeten..

Updated by Alguno about 4 years ago

Bedankt voor het filmpje. Dat maakt het probleem gelijk een stuk duidelijker.
Helaas is het filmpje (in zowel mplayer, vlc als totem) verminkt.
Ik krijg namelijk alleen een wazig beeld te zien.
Zou je deze soms opnieuw kunnen maken en uploaden?

Updated by hurricaneharry about 4 years ago

Om mogelijk nog een bijdrage te leveren een "strace -c -f nntpgrab_gui" (v 0.6.2)

Updated by hurricaneharry about 4 years ago

Ook nog een gdb gemaakt zoals in de wiki omschreven.

Updated by feonx about 4 years ago

Geen dank, ik ben al blij dat jullie zo'n geweldig programma gebouwd hebben.
Ik heb het filmpje op youtube ge-upload want zelf heb ik met het afspelen er van via VLC geen problemen.

P.S: Ik heb een grijs thema op mijn ubuntu.

Hier de youtube link: http://www.youtube.com/watch?v=9o-iQ_5wWxw
Hoop dat het nu wat beter te zien is.

Groetjes Mike

Updated by Alguno about 4 years ago

Nu is het filmpje wel goed te zien.

Zou iemand van jullie kunnen proberen om NNTPGrab te draaien middels valgrind?
Valgrind is namelijk een tool om misbruik van geheugen te detecteren.
Hiervoor dien je eerst de pakketten 'valgrind' en 'libwebkit-1.0-2-dbg' te installeren onder Ubuntu en daarna
NNTPGrab op te starten middels het volgende commando: valgrind --leak-check=no --log-file=nntpgrab.log nntpgrab_gui
Hierdoor zal NNTPGrab heel traag draaien, maar aangezien volgens het filmpje het programma uit zichzelf al na een paar
seconden crashed zou dat niet echt zo'n probleem moeten zijn. Het kan zijn dat NNTPGrab nu helemaal niet meer
crashed, maar in dat geval kan je het programma normaal afsluiten. Alle bevindingen van valgrind worden bijgehouden
in een bestand genaamd 'nntpgrab.log'. Zouden jullie dit bestand aan deze bugreport kunnen toevoegen?
Alvast bedankt

Updated by feonx about 4 years ago

Beste Alguno,

Ik heb zojuist gedaan wat je vermelden.
Hierbij weer een filmpje ter verduidelijking:
http://www.youtube.com/watch?v=y6ujN9-trbw

De logfile heb ik bij dit bericht geupload.

Groetjes Mike

Updated by feonx about 4 years ago

Oh ik ben er trouwens achter gekomen dat wanneer er een download bezig is, en ik vervolgens op de "stop" knop druk. NNTPGrab ook crasht.

Het zit hem denk ik ergens in het beëindigen van een download.

Updated by Alguno about 4 years ago

In het valgrind logbestand wat je toegevoegd hebt staan helaas geen foutmeldingen vermeld. Heb je het programma wel lang genoeg laten doordraaien? Als het na zo'n 10 minuten nog niet gecrashed is, dan kan je het programma normaal afsluiten

Updated by feonx about 4 years ago

Ik heb het gedaan zo als in het filmpje in me reactie hier boven.
Het crashen van de applicatie gebeurd enkel en alleen wanneer een download tot 100% reikt of wanneer men de applicatie afsluit tijdens een download proces.

Alle andere gevallen niet.
Ik kan de applicatie zolang opgestart houden als ik wil hij crasht niet uit zichzelf.

Bedoel je dat ik de applicatie eerst 10 minuten lang moet aanhouden en vervolgens pas een download moet inschakelen om tot een crash te resulteren? of iets anders?

Updated by hurricaneharry about 4 years ago

Ik denk dat Alguno bedoelde door laten lopen tot de applicatie zelf crashed, valgrind niet afbreken met ctrl-c.

Hier is eenzelfde nntpgrab.log van mij.

Updated by feonx about 4 years ago

Ik denk dat je gelijk heb. Wanneer ik de regel van valgrind uitvoer word namelijk NNTPGrab ook niet automatich gestart. (In het filmpje deed ik dit handmatig)

Updated by Alguno about 4 years ago

Ik bedoelde inderdaad dat je valgrind door moest laten draaien totdat NNTPGrab crasht. Zodra je dat commando uitvoert, dan zou NNTPGrab automatisch moeten verschijnen (dit kan wel eventjes duren). Het is dus niet nodig om NNTPGrab handmatig op te starten.

Het logbestand dat hurricaneharry gepubliceerd heeft bevat wel een foutmelding:

11126 Process terminating with default action of signal 11 (SIGSEGV)
11126 Bad permissions for mapped region at address 0x1D2483E0
11126 at 0x1D2483E0: ??? (in /usr/lib/libgstapp-0.10.so.0.19.2)
11126 by 0xB2F0A60: start_thread (pthread_create.c:155)
11126 by 0xBF206FC: clone (clone.S:112)

Zo op het eerste gezicht heb ik geen idee waar dit door veroorzaakt wordt. Het lijkt me zeer onwaarschijnlijk dat het door NNTPGrab zelf veroorzaakt is.
Er wordt wel een verwijzing gemaakt naar gstreamer (/usr/lib/libgstapp-0.10.so.0.19.2), dus ik zou je willen vragen om het pakket libgstreamer0.10-0-dbg
te installeren en het valgrind commando opnieuw uit te voeren.

Updated by hurricaneharry about 4 years ago

Bij deze weer een stapje verder:

na het toevoegen van libgtreamer0.10-0-dbg veranderde er weinig aan de valgrind output. (valgrind_gstreamer.txt)

met een dpkg -S libgstapp-0.10.so.0.19.2 kwam ik op het pakket libgstreamer-plugins-base0.10-0 en heb vervolgens, libgstreamer-plugins-base0.10-dev geinstalleerd, hierna veranderde de valgrind output. (valgrind_gstreamer1.txt)

Updated by hurricaneharry about 4 years ago

verderdenkend op dezelfde manier doorgegaan..

dpkg -S pacrunner_webkit.so
libproxy0

toegevoegd libproxy-dev

hierna krijg ik verschillende output - in eerste instantie : valgrind_libproxy.txt echter bij een volgende run kreeg ik valgrind_libproxy1.txt en een derde run leverde een gelijkwaardige logfile aan valgrind_libproxy1.txt

Updated by Alguno about 4 years ago

  • Status changed from New to In Progress
  • Assigned to set to Alguno

Bedankt voor de informatie.
Het lijkt er op dat in het libproxy pakket (wat door NNTPGrab gebruikt wordt) iets niet helemaal goed gaat (in de webkit module).
Helaas heeft Ubuntu geen -dbg pakket van libproxy, dus om meer informatie hier uit te ontleden dient deze opnieuw gebouwd te worden,
Ik zal deze straks wel aan de NNTPGrab Ubuntu repository toe gaan voegen. Mogelijk dat dit zelfs het probleem in z'n geheel verhelpt.
Kwam vanmiddag namelijk ook nog deze bugreport tegen: https://bugs.launchpad.net/ubuntu/+source/libproxy/+bug/456907

Updated by Alguno about 4 years ago

Een amd64 versie van het libproxy pakket is zojuist beschikbaar gekomen. Hierbij de bestanden:
https://launchpad.net/~openftd/+archive/ppa/+files/libproxy0_0.3.1-1ubuntu2_amd64.deb
https://launchpad.net/~openftd/+archive/ppa/+files/libproxy-dbg_0.3.1-1ubuntu2_amd64.deb
https://launchpad.net/~openftd/+archive/ppa/+files/libproxy-dev_0.3.1-1ubuntu2_amd64.deb
Deze kan je installeren middels 'sudo dpkg -i pakket1.deb pakket2.deb'. Het -dev pakket kan
je zeer waarschijnlijk achterwege laten (probeer het maar eerst zonder).

Een i386 versie is nog blijven hangen in de Launchpad build queue, dus daar zal nog even op gewacht moeten worden.

Als je de amd64 versie geïnstalleerd hebt, dan hoor ik graag of het programma met deze nieuwe pakketten nog steeds
crasht en zoja, dan zou ik ook graag een valgrind log hier van zien (met het libproxy-dbg pakket geïnstalleerd)

Updated by hurricaneharry about 4 years ago

De pakketten allemaal geinstalleerd:
ii libproxy-dbg 0.3.1-1ubuntu2 automatic proxy configuration management lib
ii libproxy-dev 0.3.1-1ubuntu2 automatic proxy configuration management lib
ii libproxy0 0.3.1-1ubuntu2 automatic proxy configuration management lib

1e valgrind run leek weer terug bij af.
2e en 3e run komen met een andere fout.

Updated by Alguno about 4 years ago

Dit is echt heel bizar allemaal...
Je had de pakketten libwebkit-1.0-2-dbg en libgtreamer0.10-0-dbg reeds geïnstalleerd he?
Nog over voor de zekerheid, wat voor uitvoer geeft het commando 'uname -a' ?

Updated by hurricaneharry about 4 years ago

libwebkit-1.0-2-dbg nog toegevoegd...
libgstreamer0.10-0-dbg had ik al wel.

Linux blana 2.6.32-24-generic #38-Ubuntu SMP Mon Jul 5 09:20:59 UTC 2010 x86_64 GNU/Linux

Updated by hurricaneharry about 4 years ago

hmm ik zag nu net wel even een paar regels op het console die ik niet eerder zag:

plugin_par2.c:641 line = Target:

normaal eindigd de console output met de regel:

plugins.c:1225 event handler for event 'config_changed' registered to callback at address 0x19f20330

Updated by Alguno about 4 years ago

Die plugin_par2.c:641 regel zou je normaalgesproken vaker moeten krijgen. Wellicht dat het par2cmdline proces halverwege tijdens de verificatie crasht en daardoor wat corruptie ontstaat in het geheugen wat door NNTPGrab gebruikt wordt. Zou je soms de map /home/jouw_gebruikersnaam/NNTPGrab/Downloads/naam_van_de_collectie kunnen kopiëren naar een andere plek, nadien vanuit die nieuwe map het commando 'par2 r naam_van_kleinste_par2_file.par2 *' uit te voeren en de volledige uitvoer hier van aan deze bugreport toe te voegen?

Updated by hurricaneharry about 4 years ago

plugin_par2.c:641 line = Target: niet reproduceerbaar.

Updated by hurricaneharry about 4 years ago

het repareren van die par2 file gaat niet omdat ik alle gedownloade files al heb verwijderd, en uit de nzb file alles behalve de par2 file verwijderd heb.
deze nzb file met alleen de te downloaden par2 gebruik ik om het probleem te simuleren. deze als enigste in de queue en daarmee is het ook de laatste in de queue.
de download start na het opstarten en hierna volgt de crash.

buiten dat de reparatie van die par2 file niet werkt krijg ik geen errors van de "par2 r file.par2 *"

Updated by Alguno about 4 years ago

Zouden jullie soms eens kunnen testen of dit probleem nog steeds optreedt met NNTPGrab 0.6.90 ?

Updated by hurricaneharry about 4 years ago

  1. ppa toegevoegd voor het installeren van nntpgrab 0.6.90 (Erik van Pienbroek)

sudo add-apt-repository ppa:openftd
sudo apt-get update
sudo apt-get install nntpgrab
dpkg -l nntpgrab

  1. ii nntpgrab 0.6.90-1~lucid Meta-package for NNTPGrab

Test: enkele download,
Resultaat: geen crash, wel een par2 error volgens nntpgrab.

  1. par2 output console

par2 v Telza280810\ EPUB.par2
par2cmdline version 0.4, Copyright (C) 2003 Peter Brian Clements.

par2cmdline comes with ABSOLUTELY NO WARRANTY.

This is free software, and you are welcome to redistribute it and/or modify
it under the terms of the GNU General Public License as published by the
Free Software Foundation; either version 2 of the License, or (at your
option) any later version. See COPYING for details.

Loading "Telza280810 EPUB.par2".
Loaded 4 new packets

There are 1 recoverable files and 0 other files.
The block size used was 640000 bytes.
There are a total of 14 data blocks.
The total size of the data files is 8646154 bytes.

Verifying source files:

Target: "Telza280810 EPUB.rar" - found.

All files are correct, repair is not required.

Updated by hurricaneharry about 4 years ago

Tot heden nog geen crashes gehad.

Wel opgemerkt:
par2 reparatie geeft tot op heden altijd error, ook indien commandline par reparatie geen fouten in bestanden aangeeft.
! log actief ! na in de configuratie plugins de logger te activeren geeft deze nu output waar dit eerder niet het geval was.

Updated by Alguno about 4 years ago

Zou je soms weer een logbestand van het programma zelf kunnen verzamelen en toevoegen aan deze bugreport zoals beschreven in opmerking 3 hierboven ?

Updated by Alguno about 4 years ago

Het PAR2 reparatieprobleem zou verholpen moeten zijn in commit 1728.
Zal proberen om nieuwe pakketten voor Ubuntu te maken waarin deze fix opgenomen is

Updated by Alguno about 4 years ago

  • Category set to NNTPGrab Core
  • Target version set to 0.7.0

Nieuwe Ubuntu pakketten zijn zojuist verschenen voor versie 0.6.90

Updated by Alguno almost 4 years ago

Heeft er iemand met NNTPGrab 0.6.90 onder Ubuntu nog last gehad van crashes?
Zoniet, dan kan deze bugreport gesloten worden

Updated by Alguno almost 4 years ago

  • Status changed from In Progress to Closed

Also available in: Atom PDF