نوشته‌ها

دسترسی به اعضا – قسمت پنجم- سناریو دوم- خواندن اطلاعات سایت هایی که با اسکرول داده هایشان واکشی می شوند (مثال کامل سایت دیوار) با سلنیوم

در صورتی که بتوان از داخل یک سایتی صفحات دیگر را فراخوانی کرد (داده هایی که به صورت Page بندی شده هستند) طبیعتا مشکل خاصی برای واکشی آن وجود ندارد و به طور مثال در این مقاله به آن پرداختیم و یک مثال کامل نیز پیاده سازی کردیم . اما در صورتی که داده های یک سایت از طریق اسکرول کردن واکشی شود باید از این مقاله بهره برد . در این مقاله یک مثال کامل از واکشی سایت دیوار می باشد که داده ها به صورت اسکرول کردن واکشی می شوند.

قسمت دوم – بررسی کتابخانه Seleniumو BeautifulSoup

کتابخانه‌های Selenium و BeautifulSoup هر دو در جمع‌آوری داده از وب‌سایت‌ها و وب اسکرپینگ استفاده می‌شوند، اما برای موارد و شرایط متفاوتی طراحی شده‌اند. در اینجا به بررسی مزایا و معایب هر یک و مقایسه آن‌ها می‌پردازیم.

قسمت اول – مقدمه ای بر کتابخانه Selenium

کتابخانه Selenium یکی از محبوب‌ترین ابزارهای اتوماسیون مرورگر برای تست وب و جمع‌آوری داده است که به زبان‌های مختلفی از جمله پایتون ارائه شده است. این کتابخانه به توسعه‌دهندگان و تست‌کنندگان این امکان را می‌دهد تا با مرورگرهای وب (مانند Chrome، Firefox، Safari و Edge) به‌صورت خودکار تعامل داشته باشند، اقدام به کلیک، پیمایش، وارد کردن متن، خواندن داده‌ها و بسیاری کارهای دیگر کنند. Selenium به‌ویژه برای تست اپلیکیشن‌های وب و اتوماسیون وب‌سایت‌ها کاربرد دارد.