From 540b820f210e2e20b6476988d8e967a50a82226d Mon Sep 17 00:00:00 2001 From: Yuval Adam Date: Tue, 24 Dec 2013 12:41:54 +0200 Subject: Lots of parser and test refactoring --- newsdiff/core/parsers/__init__.py | 0 newsdiff/core/parsers/base.py | 15 +- newsdiff/core/parsers/haaretz.py | 10 +- newsdiff/core/tests/content/haaretz.html | 13160 +++++++++++++++++++++++++++++ newsdiff/core/tests/haaretz.html | 13160 ----------------------------- newsdiff/core/tests/tests.py | 15 +- 6 files changed, 13188 insertions(+), 13172 deletions(-) create mode 100644 newsdiff/core/parsers/__init__.py create mode 100644 newsdiff/core/tests/content/haaretz.html delete mode 100644 newsdiff/core/tests/haaretz.html diff --git a/newsdiff/core/parsers/__init__.py b/newsdiff/core/parsers/__init__.py new file mode 100644 index 0000000..e69de29 diff --git a/newsdiff/core/parsers/base.py b/newsdiff/core/parsers/base.py index 938fe86..e103527 100644 --- a/newsdiff/core/parsers/base.py +++ b/newsdiff/core/parsers/base.py @@ -14,11 +14,18 @@ class HtmlSoupParser(object): def get_page(self, url): req = requests.get(url, headers=HTTP_HEADERS) - if req.ok: - return BeautifulSoup(req.text, 'lxml') + return BeautifulSoup(req.text, 'lxml') - def get_homepage(self): - return get_page(self.HOMEPAGE_URL) + def process_homepage(self): + soup = self.get_page(self.HOMEPAGE_URL) + self.parse_homepage(soup) + + def process_article(self, url): + soup = self.get_page(url) + self.parse_article(soup) + + def parse_homepage(soup): + raise NotImplementedError def parse_article(self, url): raise NotImplementedError diff --git a/newsdiff/core/parsers/haaretz.py b/newsdiff/core/parsers/haaretz.py index e44988f..c43379f 100644 --- a/newsdiff/core/parsers/haaretz.py +++ b/newsdiff/core/parsers/haaretz.py @@ -16,14 +16,12 @@ class HaaretzParser(HtmlSoupParser): ARTICLE_MODEL = HaaretzArticle IMAGE_MODEL = HaaretzImage - def parse_haaretz_homepage(self): - soup = self.get_homepage() - articles = soup.find_all('a', href=ARTICLE_HREF_PATTERN) + def parse_homepage(self, soup): + articles = soup.find_all('a', href=self.ARTICLE_HREF_PATTERN) hrefs = [article['href'] for article in articles] - hrefs = list(set(map(clean_haaretz_href, hrefs))) + return list(set(map(self.clean_article_href, hrefs))) - def parse_article(self, url): - soup = self.get_page(url) + def parse_article(self, soup): title = soup.find('h1', class_='mainTitle').text.strip() subtitle = soup.find('h2', class_='subtitle').text.strip() author_bar = soup.find('ul', class_='author-bar') diff --git a/newsdiff/core/tests/content/haaretz.html b/newsdiff/core/tests/content/haaretz.html new file mode 100644 index 0000000..ea4d761 --- /dev/null +++ b/newsdiff/core/tests/content/haaretz.html @@ -0,0 +1,13160 @@ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + חדשות, ידיעות מהארץ והעולם - עיתון הארץ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ +
+ + + + + + + + + + + + + + + +
+ + +
+ + + + + + + +
+ + + + + + +
+
+ + + + + + + + +
+
+ + +
+ + +
+ + +
+ מצטרפים ומשדרגים לאחת מחבילות התוכן האיכותי של הארץ. עכשיו במבצע השקה! רק 4.90 ₪ לחודש הראשון. + נסו עכשיו >> +
+
+ +
+ +
+
+
+
+
+
+ הרשמה למערכת +
+ + +
+
+
+
+
שם פרטי
+ +
שם משפחה
+ +
דוא"ל
+ +
+
+
+
בחר סיסמה
+ +
+
+
הקלד סיסמה מחדש
+ +
+
אזור מגורים
+ +
+
+
+
+ +  ?נרשמתם בעבר לאתרי קבוצת הארץ + + + התחברו + +   |   + + שחזרו סיסמה + +
+ + +
+ +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ +
+
+
+
+
+ + + + + + + + +
+ +
+
+
+ + + + + + + +
+
+
+ +
+ + + + + + + + + + + + + + + +
+
+
+
+ +
+ + +
+
+
+ + + + + + + + + + + + +
+
+ +
+ + + +
+
+
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+ + + + + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ +
+ + + + + + +
+ + + + + + + +
+ + + + + + + +
+ + + + + + + +
+ + + +
+ + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + +
+ + + + + + + + + +
+
+ + + + + + + + + + + +
+
+
+ כתבות אחרונות באתר +
+
+ +
+
+ +
+
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+
+ + + + + + + + + + + +
+ + +
+ + + + + + + + + +
+ +
+ + + + + + + + + + + + + + + + + + + + + + + +
+ + + + + + + + + +
+
+
+ +
+ + + + + + + + + + + + + + + + + +
+ +
+ + + +
+
+
+ + + + + +
+ + + + + + + + + + + + + + + + + + +
+ +
+
+ + + + + + + + + + +
+ + + + + +
+
+
+
+
+ + + + + + + + + + + + +
+ +
+ + + + + + + + + + + + + + + + + + + + + + +
+ + + + + + + + + + + +
+ + + +
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ +
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ + + + + + + + +
+ + + + + + + + + + +
+ +
+ + + + + + + + + + + + +
+ +
+
+ +
+
+ +
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ +
+ + + + + + + + + + + + + + + +
+ + + +
+ + + + + + + + + + + +
+ + + +
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ +
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + +
+ +
+ + + + + + + + + + +
+ +
+
+ +
+
+ +
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ +
+ + + + + + + + + + +
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ + + + + + + + +
+ + + + + + + + + + +
+ +
+ + + + + + + + + + +
+ +
+
+ +
+
+ +
+ + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ +
+ +
+ + + + + + + + + + + + + + + + + + + + + + +
+ +
+ + + + + + + +
+ + +
+ + + +
+ + + + + + + + + + + + + + + + +
+ +
+ + + + + + + + + + +
+ +
+
+ +
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ +
+ + + + + + + + + + + + + + + +
+ + + +
+ + + + + + + + + + +
+ + + + + +
+ +
+ + + + + +
+ + + + + + + + + + + + + +
+ + + + + + + + + + +
+ +
+ + + + + + + + + + + + + + + + + + + + + + + + + + +
+ + + +
+ + + + + + + + + + + + +
+ + + +
+ + + + + + + +
+ +
+ +
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ +
+ + +
+ + + + + + + + +
+
+
onlife
+ +
+
+
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+
+ + + + + +
+ + + + + + + + + +
+ + + + + + + + + + + +
+ + + + + + + + + + +
+ +
+ +
+
+ עוד מצגות +
+
+ +
+
+ + + + + + + + + +
+ +
+ +
+ + + + + + + + + + + + + + + + + + + + + +
+ +
+ +
+ +
+
+
+ + + +
+ + + + + + + +
+ + + + + + +
+ + + +
עכבר EXTRA
+ + + + + + +
+ + + + +
+ + + + +
+ + + + +
+ + + + + + + + +
+ + + + + +

+ + + + + +
+
+ + + + + + + + + + + +
+
+
+
+ מגזין +
+
+ +
+ + + + + + + + + +
+ +
+
+ +
+ + +
+
+ + + +"הומלסים קוראים שירה" - צילום:צילום מסך מתוך יוטיוב +
+ + + 01 + כשחסרי בית עושים שירה + + +
+
+ +
+ +
+ + + + 22.12.2013 + + + 10:43 + +
+
+ +
+
+
+
+ + +
+
+
+ + + + + + + + + + + + +
+
+ +
+ + + + + + + + + +
+ +
+
+ +
+ + +
+
+ + + +תומכים בהעלאת שכר המינימום צועדים מסי־טק לסיאטל (למעלה) ומפגינים בקליפורניה (מימין) ובניו יורק. "אדם שעובד במשרה מלאה לא צריך לחיות בעוני"  - צילום:רויטרס +
+ + + 01 + העניים בארה"ב מתקוממים ומגיעים להשגים + + +
+
+ +
+ +
+ + אשר שכטר + + 22.12.2013 + + + 08:44 + +
+
+ +
+
+
+
+ + +
+
+
+ + + + + + + + + + + + +
+
+ +
+ + + + + + + + + + + + +
+
+
+ + + + + + + + + + + +
+
+
חדש: 10 הנצפות ישירות למייל
+
רוצים להתעדכן במה שמתרחש ולקבל המלצות קריאה? הירשמו לניוזלטרים החדשים של הארץ
+ +
+
אני מאשר/ת קבלת דיוורים, מידע שיווקי והטבות
+ +
+
נא להזין כתובת מייל חוקית
+
+ +
+
+
+
+ + + + + + + +

+ + + + + + + + + +
+
+ +
+ + + + + + + + + +
+ +
+
+ +
+ + +
+
+ + + +יוחי ארנון ותאופיק חמאיסי בטחנה +
+ + + 01 + תורת החלקיקים של טחנת הקמח מכפר כנא +
+
+ +
+
+ +
+ +
+ + + + 21.12.2013 + + + 22:34 + +
+
+ +
+
+
+
+ + +
+
+
+ + + + + + + + + + + + +
+
+ +
+ + + + + + + + + +
+ +
+
+ + +
+
+ + +
+
+
+ + + + + + + + + + + + +
+
+ +
+ + + + + + + + + +
+ +
+
+ +
+ + +
+
+ + + +
+ + + 01 + הצילום שמוכיח שליידי גאגא היא גאון +
+
+ +
+
+ +
+ +
+ + + + 20.12.2013 + + + 15:35 + + + + 65 + + +
+
+ +
+
+
+
+ + +
+
+
+ + + + + + + + + + + +
+ + +
+ + + + + + + + + +
+
+ +
+ + + + + + + + + +
+ +
+
+ +
+ + +
+
+ + + +צילום: +
+ + + 01 + מסעדת השף הערבית הראשונה קולעת בול +
+
+ +
+
+ +
+ +
+ + שגיא כהן + + 20.12.2013 + + + 06:00 + + + + 43 + + +
+
+ +
+
+
+
+ + +
+
+
+ + + + + + + + + + + + +
+
+ +
+ + + + + + + + + +
+ +
+
+ +
+ + +
+
+ + + +שמורת עין אפק, הסמוכה לקרית ביאליק - צילום:משה גלעד +
+ + + 01 + אתרי הטבע בישראל שוב שותים לרוויה +
+
+ +
+
+ +
+ +
+ + + + 22.12.2013 + + + 06:12 + + + + 6 + + +
+
+ +
+
+
+
+ + +
+
+
+ + + + + + + + + + + + +
+
+ +
+ + + + + + + + + +
+ +
+
+ +
+ + +
+
+ + + +אשה נושאת את דיוקנו של אדוארד סנודן מול שגרירות ארה"ב בברלין, ביולי האחרון - צילום:רויטרס +
+ + + 01 + המעיין הנובע של איש השנה +
+
+ +
+
+ +
+ +
+ + + + 21.12.2013 + + + 20:31 + + + + 17 + + +
+
+ +
+
+
+
+ + +
+
+
+ + + + + + + +
+ + + + + + + + + + + + +
+
+ +
+ + + + + + + + + +
+ +
+
+ +
+ + +
+
+ + + +גטו ורשה - צילום:Knobloch Ludwig +
+ + + 01 + מרד גטו ורשה - לא היה כזה +
+
+ +
+
+ +
+ +
+ + עלי גת + + 19.12.2013 + + + 20:00 + + + + 172 + + +
+
+ +
+
+
+
+ + +
+
+
+ + + + + + + + + + + + +
+
+ +
+ + + + + + + + + +
+ +
+
+ +
+ + +
+
+ + + +נוחי דנקנר יוצא מבית המשפט בת"א לאחר שאיבד את השליטה באי.די.בי - צילום:תומר אפלבאום +
+ + + 01 + השקרים שמספרים לנו על נוחי דנקנר + + +
+
+ +
+ +
+ + + + 21.12.2013 + + + 21:11 + +
+
+ +
+
+
+
+ + +
+
+
+ + + + + + + + + + + + + +
+
+ + + + + + + + + + + +
+ +
+ +
+ + +
+
+
+ + + + + + + + + + + + + + + + + +
+
+ +
+ + + + + + + + + + + + +
+
+
+ + + + + + + + + + + + +
+
+ +
+ + + + + + + + + +
+ +
+ +
+ + +
+
+
+ + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + +
+
+ + + + + + +
+ +
+ +
+ + + + + + + +
+ +
+ +
+ +
+
+
+ + + + + + + + + + + + + + + + + + + +
+
+ +
+ + + + + + + + + +
+ +
+
+ +
+
+
+
+ + +צילום:אוהד רומנו +
+ + + 01 + סדרת המקור הטובה של השנה + + +
+
+ +
+ +
+ + עכבר העיר + + 22.12.2013 + + + 09:30 + +
+
+ +
+
+
+
+ + +
+
+
+ + + + + + + + + + + + +
+
+ +
+ + + + + + + + + +
+ +
+
+ +
+
+
+
+ + +צילום:Dreamstime +
+ + + 01 + סופשנה || + סילבסטר בתל אביב + + +
+
+ +
+ +
+ + עכבר העיר + + 22.12.2013 + + + 09:20 + +
+
+ +
+
+
+
+ + +
+
+
+ + + + + + + + + + + + +
+
+ +
+ + + + + + + + + +
+ +
+
+ + +
+
+ + +
+
+
+ + + + + + + + + + + + + + + + + + +
+ + + + +
+ + + + + + + + + + הפופולריות + + + + + + + + + + + +
+
+ +
פעילות
+
המלצות
+
+
+ +
+
+ +
+
+ + + + + + +
+
+
+
+ + + + + + + + + + + + + + + +
+ +
+ +
+
+ כתבות שאולי פספסתם... +
+
+ +
+ + + +
+
+ + + + + + + + + + + +
+
+
+ הצעות מיוחדות +
+ +
+ + + + + + +
+ + + + +
+ + + + +
+ + + + +
+ + + + +
+ + + + +
+ + + + +
+ +
+
+
+ + + + + + +
+
+
+ + +
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ + + \ No newline at end of file diff --git a/newsdiff/core/tests/haaretz.html b/newsdiff/core/tests/haaretz.html deleted file mode 100644 index ea4d761..0000000 --- a/newsdiff/core/tests/haaretz.html +++ /dev/null @@ -1,13160 +0,0 @@ - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - חדשות, ידיעות מהארץ והעולם - עיתון הארץ - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- -
- - - - - - - - - - - - - - - -
- - -
- - - - - - - -
- - - - - - -
-
- - - - - - - - -
-
- - -
- - -
- - -
- מצטרפים ומשדרגים לאחת מחבילות התוכן האיכותי של הארץ. עכשיו במבצע השקה! רק 4.90 ₪ לחודש הראשון. - נסו עכשיו >> -
-
- -
- -
-
-
-
-
-
- הרשמה למערכת -
- - -
-
-
-
-
שם פרטי
- -
שם משפחה
- -
דוא"ל
- -
-
-
-
בחר סיסמה
- -
-
-
הקלד סיסמה מחדש
- -
-
אזור מגורים
- -
-
-
-
- -  ?נרשמתם בעבר לאתרי קבוצת הארץ - - - התחברו - -   |   - - שחזרו סיסמה - -
- - -
- -
-
-
-
-
-
-
-
-
-
-
-
-
-
-
- -
-
-
-
-
- - - - - - - - -
- -
-
-
- - - - - - - -
-
-
- -
- - - - - - - - - - - - - - - -
-
-
-
- -
- - -
-
-
- - - - - - - - - - - - -
-
- -
- - - -
-
-
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
-
- - - - - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- -
- - - - - - -
- - - - - - - -
- - - - - - - -
- - - - - - - -
- - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - -
- - - - - - - - - -
-
- - - - - - - - - - - -
-
-
- כתבות אחרונות באתר -
-
- -
-
- -
-
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
-
-
-
-
- - - - - - - - - - - -
- - -
- - - - - - - - - -
- -
- - - - - - - - - - - - - - - - - - - - - - - -
- - - - - - - - - -
-
-
- -
- - - - - - - - - - - - - - - - - -
- -
- - - -
-
-
- - - - - -
- - - - - - - - - - - - - - - - - - -
- -
-
- - - - - - - - - - -
- - - - - -
-
-
-
-
- - - - - - - - - - - - -
- -
- - - - - - - - - - - - - - - - - - - - - - -
- - - - - - - - - - - -
- - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- -
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- - - - - - - - -
- - - - - - - - - - -
- -
- - - - - - - - - - - - -
- -
-
- -
-
- -
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- -
- - - - - - - - - - - - - - - -
- - - -
- - - - - - - - - - - -
- - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- -
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - -
- -
- - - - - - - - - - -
- -
-
- -
-
- -
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- -
- - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- - - - - - - - -
- - - - - - - - - - -
- -
- - - - - - - - - - -
- -
-
- -
-
- -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
- -
- -
- - - - - - - - - - - - - - - - - - - - - - -
- -
- - - - - - - -
- - -
- - - -
- - - - - - - - - - - - - - - - -
- -
- - - - - - - - - - -
- -
-
- -
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- -
- - - - - - - - - - - - - - - -
- - - -
- - - - - - - - - - -
- - - - - -
- -
- - - - - -
- - - - - - - - - - - - - -
- - - - - - - - - - -
- -
- - - - - - - - - - - - - - - - - - - - - - - - - - -
- - - -
- - - - - - - - - - - - -
- - - -
- - - - - - - -
- -
- -
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- -
- - -
- - - - - - - - -
-
-
onlife
- -
-
-
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
-
-
-
-
- - - - - -
- - - - - - - - - -
- - - - - - - - - - - -
- - - - - - - - - - -
- -
- -
-
- עוד מצגות -
-
- -
-
- - - - - - - - - -
- -
- -
- - - - - - - - - - - - - - - - - - - - - -
- -
- -
- -
-
-
- - - -
- - - - - - - -
- - - - - - -
- - - -
עכבר EXTRA
- - - - - - -
- - - - -
- - - - -
- - - - -
- - - - - - - - -
- - - - - -

- - - - - -
-
- - - - - - - - - - - -
-
-
-
- מגזין -
-
- -
- - - - - - - - - -
- -
-
- -
- - -
-
- - - -"הומלסים קוראים שירה" - צילום:צילום מסך מתוך יוטיוב -
- - - 01 - כשחסרי בית עושים שירה - - -
-
- -
- -
- - - - 22.12.2013 - - - 10:43 - -
-
- -
-
-
-
- - -
-
-
- - - - - - - - - - - - -
-
- -
- - - - - - - - - -
- -
-
- -
- - -
-
- - - -תומכים בהעלאת שכר המינימום צועדים מסי־טק לסיאטל (למעלה) ומפגינים בקליפורניה (מימין) ובניו יורק. "אדם שעובד במשרה מלאה לא צריך לחיות בעוני"  - צילום:רויטרס -
- - - 01 - העניים בארה"ב מתקוממים ומגיעים להשגים - - -
-
- -
- -
- - אשר שכטר - - 22.12.2013 - - - 08:44 - -
-
- -
-
-
-
- - -
-
-
- - - - - - - - - - - - -
-
- -
- - - - - - - - - - - - -
-
-
- - - - - - - - - - - -
-
-
חדש: 10 הנצפות ישירות למייל
-
רוצים להתעדכן במה שמתרחש ולקבל המלצות קריאה? הירשמו לניוזלטרים החדשים של הארץ
- -
-
אני מאשר/ת קבלת דיוורים, מידע שיווקי והטבות
- -
-
נא להזין כתובת מייל חוקית
-
- -
-
-
-
- - - - - - - -

- - - - - - - - - -
-
- -
- - - - - - - - - -
- -
-
- -
- - -
-
- - - -יוחי ארנון ותאופיק חמאיסי בטחנה -
- - - 01 - תורת החלקיקים של טחנת הקמח מכפר כנא -
-
- -
-
- -
- -
- - - - 21.12.2013 - - - 22:34 - -
-
- -
-
-
-
- - -
-
-
- - - - - - - - - - - - -
-
- -
- - - - - - - - - -
- -
-
- - -
-
- - -
-
-
- - - - - - - - - - - - -
-
- -
- - - - - - - - - -
- -
-
- -
- - -
-
- - - -
- - - 01 - הצילום שמוכיח שליידי גאגא היא גאון -
-
- -
-
- -
- -
- - - - 20.12.2013 - - - 15:35 - - - - 65 - - -
-
- -
-
-
-
- - -
-
-
- - - - - - - - - - - -
- - -
- - - - - - - - - -
-
- -
- - - - - - - - - -
- -
-
- -
- - -
-
- - - -צילום: -
- - - 01 - מסעדת השף הערבית הראשונה קולעת בול -
-
- -
-
- -
- -
- - שגיא כהן - - 20.12.2013 - - - 06:00 - - - - 43 - - -
-
- -
-
-
-
- - -
-
-
- - - - - - - - - - - - -
-
- -
- - - - - - - - - -
- -
-
- -
- - -
-
- - - -שמורת עין אפק, הסמוכה לקרית ביאליק - צילום:משה גלעד -
- - - 01 - אתרי הטבע בישראל שוב שותים לרוויה -
-
- -
-
- -
- -
- - - - 22.12.2013 - - - 06:12 - - - - 6 - - -
-
- -
-
-
-
- - -
-
-
- - - - - - - - - - - - -
-
- -
- - - - - - - - - -
- -
-
- -
- - -
-
- - - -אשה נושאת את דיוקנו של אדוארד סנודן מול שגרירות ארה"ב בברלין, ביולי האחרון - צילום:רויטרס -
- - - 01 - המעיין הנובע של איש השנה -
-
- -
-
- -
- -
- - - - 21.12.2013 - - - 20:31 - - - - 17 - - -
-
- -
-
-
-
- - -
-
-
- - - - - - - -
- - - - - - - - - - - - -
-
- -
- - - - - - - - - -
- -
-
- -
- - -
-
- - - -גטו ורשה - צילום:Knobloch Ludwig -
- - - 01 - מרד גטו ורשה - לא היה כזה -
-
- -
-
- -
- -
- - עלי גת - - 19.12.2013 - - - 20:00 - - - - 172 - - -
-
- -
-
-
-
- - -
-
-
- - - - - - - - - - - - -
-
- -
- - - - - - - - - -
- -
-
- -
- - -
-
- - - -נוחי דנקנר יוצא מבית המשפט בת"א לאחר שאיבד את השליטה באי.די.בי - צילום:תומר אפלבאום -
- - - 01 - השקרים שמספרים לנו על נוחי דנקנר - - -
-
- -
- -
- - - - 21.12.2013 - - - 21:11 - -
-
- -
-
-
-
- - -
-
-
- - - - - - - - - - - - - -
-
- - - - - - - - - - - -
- -
- -
- - -
-
-
- - - - - - - - - - - - - - - - - -
-
- -
- - - - - - - - - - - - -
-
-
- - - - - - - - - - - - -
-
- -
- - - - - - - - - -
- -
- -
- - -
-
-
- - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - -
-
- - - - - - -
- -
- -
- - - - - - - -
- -
- -
- -
-
-
- - - - - - - - - - - - - - - - - - - -
-
- -
- - - - - - - - - -
- -
-
- -
-
-
-
- - -צילום:אוהד רומנו -
- - - 01 - סדרת המקור הטובה של השנה - - -
-
- -
- -
- - עכבר העיר - - 22.12.2013 - - - 09:30 - -
-
- -
-
-
-
- - -
-
-
- - - - - - - - - - - - -
-
- -
- - - - - - - - - -
- -
-
- -
-
-
-
- - -צילום:Dreamstime -
- - - 01 - סופשנה || - סילבסטר בתל אביב - - -
-
- -
- -
- - עכבר העיר - - 22.12.2013 - - - 09:20 - -
-
- -
-
-
-
- - -
-
-
- - - - - - - - - - - - -
-
- -
- - - - - - - - - -
- -
-
- - -
-
- - -
-
-
- - - - - - - - - - - - - - - - - - -
- - - - -
- - - - - - - - - - הפופולריות - - - - - - - - - - - -
-
- -
פעילות
-
המלצות
-
-
- -
-
- -
-
- - - - - - -
-
-
-
- - - - - - - - - - - - - - - -
- -
- -
-
- כתבות שאולי פספסתם... -
-
- -
- - - -
-
- - - - - - - - - - - -
-
-
- הצעות מיוחדות -
- -
- - - - - - -
- - - - -
- - - - -
- - - - -
- - - - -
- - - - -
- - - - -
- -
-
-
- - - - - - -
-
-
- - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- - - \ No newline at end of file diff --git a/newsdiff/core/tests/tests.py b/newsdiff/core/tests/tests.py index 2146b73..35566e1 100644 --- a/newsdiff/core/tests/tests.py +++ b/newsdiff/core/tests/tests.py @@ -1,10 +1,21 @@ +from bs4 import BeautifulSoup from django.test import TestCase +from unipath import FSPath as Path +from newsdiff.core.parsers.haaretz import HaaretzParser class HaaretzParsingTestCase(TestCase): + CONTENT_DIR = Path(__file__).absolute().parent.child('content') + def setUp(self): - pass + self.parser = HaaretzParser() + + def _get_content(self, filename): + with open(self.CONTENT_DIR.child(filename), 'r') as f: + return f.read() def test_parse_homepage(self): - self.assertTrue(True) + soup = BeautifulSoup(self._get_content('haaretz.html')) + articles = self.parser.parse_homepage(soup) + self.assertTrue(articles) -- cgit v1.3.1