قسمت دوم – خواندن محصولات و قیمت سفارش های سایت دیوار با beautifulsoup

برای واکشی قیمت و عنوان محصولات از یک صفحه وب با استفاده از BeautifulSoup، ابتدا باید ساختار HTML صفحه را بررسی کنید تا تگ‌ها و کلاس‌های مربوط به عنوان و قیمت را پیدا کنید. سپس می‌توانید از کد زیر استفاده کنید:

مثال کد

در زیر یک نمونه کد برای واکشی عنوان و قیمت محصولات آورده شده است: برای این کار در ابتدا باید کلاس هایی که در آن صفحه استایل بندی شده اند را شناسایی کنید برای این کار می توانید رویه اشیا صفحه f12 را کلیک کنید و استایل آن را بردارید

از طریق قطعه کد زیر می توانیم قیمت و لینک های سایت دیورار را واکشی کنیم

import requests
from bs4 import BeautifulSoup

# آدرس URL وب‌سایت مورد نظر
url = 'https://divar.ir/s/tehran/home-kitchen'

# ارسال درخواست به وب‌سایت
response = requests.get(url)

# بررسی وضعیت پاسخ
if response.status_code == 200:
    # تجزیه محتوای HTML
    soup = BeautifulSoup(response.text, 'html.parser')

    # پیدا کردن محصولات
    products = soup.find_all(class_='kt-post-card__info')  # تغییر کلاس به کلاس واقعی صفحه

    # استخراج عنوان و قیمت
    for product in products:
        title = product.find(class_='kt-post-card__title').text.strip()  # تغییر کلاس به کلاس واقعی
        price = product.find(class_='kt-post-card__description').text.strip()  # تغییر کلاس به کلاس واقعی
        print(f'Title: {title}, Price: {price}')
else:
    print('Failed to retrieve the webpage.')


    Title: سبد میله ۲گلدان ایکیا, Price: نو
Title: عسل طبیعی, Price: ۹۵,۰۰۰ تومان
Title: بخاری گازی شومینه ۲۸هزار طرح پرنس(۲۴ماه ضمانت), Price: نو
Title: مبلمان ۷نفره, Price: کارکرده
Title: صندلی پلاستیکی نشکن مدل رزا پلاست (کارخانه), Price: نو
Title: تخت خواب تک نفر نوجوان و یک تخت خواب دوطبقه, Price: در حد نو
Title: مبلمان مینیمال تدی پلاس, Price: نو
Title: کمد ودراور.  (کد ۱۷ ), Price: نو
Title: میز تلویزیون, Price: کارکرده
Title: ماشین لباسشویی پاکشوما مدل ۹۶۰۴ آکبند, Price: نو
Title: مبل راحتی ۷نفره, Price: کارکرده
Title: میز جلو مبلی چوبی در حد نو دو طبقه با شیشه, Price: در حد نو
Title: بوفه سفید کاملا نو, Price: در حد نو
Title: راسته جک مدلA4B درحد اکبند, Price: در حد نو
Title: فرش دستبافت خریدار تبریزوکاشان(ولنجک عاصف سهرودی), Price: نو
Title: تشک یکنفره دونفره رویال باضمانت کتبی مهرشده/, Price: نو
Title: کمد ۱۰ ۱۰۰, Price: نو
Title: تعمیرات مبل استیل و راحتی, Price: نو
Title: میز, Price: کارکرده
Title: یخچال کوچک ایستکول, Price: کارکرده
Title: لباسشویی ال جی ۱۰.۵ کیلوگرم-thitan pro پتوواش, Price: نو
Title: کمد ودراور آینه ریلی کد ۶۷۶۷, Price: نو
Title: سرویس روتختی دو نفره نو, Price: نو
Title: در(نیاوران‌آجودانیه‌تجریش) خریدار فرش‌دستباف, Price: در حد نو

ارسال درخواست: با requests.get(url) به وب‌سایت درخواست ارسال می‌شود.

تجزیه HTML: محتوا با BeautifulSoup تجزیه می‌شود.

یافتن محصولات: با soup.find_all(class_=’product’) تمام محصولات پیدا می‌شوند. کلاس product را به کلاس واقعی صفحه تغییر دهید.

استخراج عنوان و قیمت: با استفاده از find(class_=’product-title’) و find(class_=’product-price’) عنوان و قیمت استخراج می‌شوند. کلاس‌ها را به کلاس‌های واقعی تغییر دهید.