For this site --> https://forum.ge/?act=idx
On windows powershell prompt go to folder directory in which scrapper file is present
Write on powershell or on terminal of ubuntu
python scrapper.py (for windows)
OR ELSE
python3 scrapper.py (for ubuntu)
then go to this site https://forum.ge/?act=idx
Copy the link of any topic U want to scrape comments from, then paste it in the powershell when the program asks for link
E.g U can choose Politics , Science and Education , Melomania , cinema , Photography topic's link
Sample TRY RUN --> https://pastebin.com/SJFsAMhX
PS D:\Jai\To_be_uploaded_to_github\Scraping> python scraper.py
1->write to file , 0-> dont write to file
1
ENTER TABLE NUMBER 0 or 1 or 2
1
ENTER FILE NUMBER
2
SURE U WANNA CREATE THIS FILE ?? 0 or 1
1
ENTER THE NUMBER OF LINKS U WANT TO SCRAP TOGETHER
2
enter the url containing links to posts u wanna scrape
https://forum.ge/?showforum=29
ENTER THE LOWER LIMIT FOR THIS BASE_URL
0
ENTER THE UPPER LIMIT FOR THIS BASE_URL
1000
enter the url containing links to posts u wanna scrape
https://forum.ge/?showforum=20
ENTER THE LOWER LIMIT FOR THIS BASE_URL
0
ENTER THE UPPER LIMIT FOR THIS BASE_URL
1000
BASE_URL= https://forum.ge/?showforum=29
NUMBER OF PAGES WITH LINKS: 52
SCRAPING PAGE WITH POST LINKS : 1
TOTAL ROWS= 43
D
topicname: საგანგებო მდგომარეობა ქვეყანაში thread_author IOSKAMAN views 5307
link https://forum.ge/?s=a352a72837f0b6518e3a61c868793d20&f=29&showtopic=35145694
WRITING TO LINK_F
SUCCESSFULL LINK PRINTING
NUMBER OF PAGES: 3
SCRAPING PAGE : 1
username: IOSKAMAN
posttext: 2020 წლის, 21 მარტს, კორონავირუსი COVID-19ის გამო, ქვეყანაში გამოცხადდა საგანგებო მდგომარეობა 1 თვითსაგანგებო მდგომარეობის დროს ქვეყანაში იზღუდება, 10ზე მეტი ადამიანის თავშეყრა ერთ ადგილზე.სამსახურები გადავიდნენ ონლაინ ( სახლიდან მუშაობა) რეჟიმზე, გარდა პოლიციისა, ექიმებისა და მომსახურე პერსონალისა (ბანკის სალაროები და ა.შ)დანარჩენი დაამატეთთემა იპინება 22 აპრილამდედარჩება აპინული საგანგებო მდგომარეობის