web-crawler-rap/rapci.py

#!/usr/bin/python3

from bs4 import BeautifulSoup;
import requests;
import urllib;
import re;

alfabe = ['A', 'B', 'C', 'Ç', 'D', 'E', 'F', 'G', 'H', 'İ', 'I', 'J', 'K', 'L', 'M', 'N', 'O', 'Ö', 'P', 'Q', 'R', 'S', 'Ş', 'T', 'U', 'Ü', 'V', 'W', 'X', 'Y', 'Z', '0-9'];

dosya = open('rapciler.txt','a');

for i in range(0, len(alfabe)):
	url = "https://www.rapsozler.com/sanatcilar/?harf={}".format(alfabe[i]);
	kaynak = requests.get(url);
	icerik = kaynak.content;
	crawler = BeautifulSoup(icerik,"html.parser");
	for a in crawler.find('div', {"class" : "listing wide icon"}).find_all('a', href=True):
		dosya.write(a['href']);
		dosya.write('\n');
dosya.close();