Categories

Hiển thị bài đăng được sắp xếp theo ngày cho truy vấn crawl. Sắp xếp theo mức độ liên quan Hiển thị tất cả bài đăng
Hiển thị bài đăng được sắp xếp theo ngày cho truy vấn crawl. Sắp xếp theo mức độ liên quan Hiển thị tất cả bài đăng

Thứ Tư, 9 tháng 7, 2025

Capstone: Major Orientation to High School Student (Định hướng ngành học cho học sinh phổ thông trung học)

 Huỳnh Thanh Tiến, Hoàng Anh Thắng, Võ Huỳnh Đức Minh, Lê Hiếu 

Tháng 08/2021

                        Mô tả: Ứng dụng được phát triển dựa yêu cầu của quận đoàn Quận 1 Thành phố Hồ Chí Minh với mong muốn hỗ trợ các học sinh phổ thông trung học trong việc gợi ý các trường và ngành học cùng với các thông tin liên quan đến việc đánh giá, tuyển chọn vào trường, chỉ tiêu tuyển sinh, chi phí học tập, … của các trường đại học ở khu vực phía Nam. Trong dự án này, việc triển khai tập trung trên việc hỗ trợ học sinh có thể sử dụng điểm học bạ hay điểm thi phổ thông trung học quốc gia để đưa vào hệ thống. Hệ thống sẽ thực hiện tính toán dựa trên các khối và các tổ hợp môn từ đó sẽ gửi ý các ngành học có liên quan. Từ các ngành này, hệ thống cũng tính toán gợi ý các trường đại học ở phía Nam phù hợp với lại điểm tính toán từ người dùng nhập vào. Khi chọn trường tương ứng, hệ thống cung cấp cho người dùng xem những thông tin về chỉ tiêu tuyển sinh, chi phí cần bỏ ra cho việc học tập, các ngành học liên quan, các thông tin liên quan cùng các tin tức của trường mà người sử dụng đang xem. Hệ thống cho phép người dụng luyện thi với các đề thi của các năm trước đó được tổ chức và đưa cho người sử dụng luyện tập. Hơn thế nữa, người sử dụng cũng có thể thi thực tế trên hệ thống để có gợi ý tốt hơn về ngành học khi đã có định hướng về tổ chuyên ngành hay tổ hợp môn để hệ thống đưa ra gợi ý khác về ngành học và trường tương ứng. Hệ thống cũng hỗ trợ hoc sinh trong việc xác định việc có nên theo đuổi một trường yêu thích hay ngành học yêu thích

Thứ Bảy, 5 tháng 7, 2025

GOM NHÓM VÀ LỌC DỮ LIỆU VỚI BỘ INTERCEPTOR ĐƯỢC XÂY DỰNG TỪ CÁC FILE STYLESHEET

Tác giả: Mã Hoàng Nhật Phi

Mục đích: Chủ đề của bài viết này đưa ra cách xử lý dữ liệu từ một file XML gồm nhiều thành phần dữ liệu nhưng có định dạng khác nhau thành một dạng chuẩn chung cho việc xử lý. Bài viết định hướng theo cách kết hợp các XSL lại với nhau, xem file XSL như một filter để dùng chúng như là interceptor trong việc lọc dữ liệu nhằm hạn chế các xử lý quá phức tạp trên cùng một file XSL. Bài viết phân chia thành hai phần chính. Phần đầu tiên là gom nhóm và chuyển đổi thành dữ liệu có cấu trúc. Sau đó, thực hiện định dạng dữ liệu đồng nhất.

Parse tài liệu XML không validation áp dụng cơ chế tiền xử lí và thực hiện chia nhỏ tài liệu phân tích thành các XML fragment

Tác giả: Lê Thanh Nam

Mục đích: Bài viết nhằm hướng dẫn parse và xử lí tài liệu XML chưa well-formed. Một tài liệu XML được xem là lỗi khi không well-formed hoặc không validate. Tuy nhiên các bộ parser có sẵn trong JDK như SAX và StAX không hỗ trợ trong việc xử lí các tài liệu xml không well-formed (SAX kiểm tra well-formed mới xử lý, StAX kiểm tra well-formed từng phần, đa số các trường hợp không đúng chuẩn well-formed sẽ dừng quá trình xử lí). Chúng tôi giới thiệu giải pháp xử lý các vấn đề này thông qua việc hiện thực bộ Resolver nhằm giải quyết trường hợp lỗi well-formed thông dụng nhất như lỗi nested tag (thiếu, thừa thẻ). Bên cạnh đó, chúng tôi sẽ hướng dẫn cách chia tài liệu xml thành nhiều phần nhỏ nhằm giải quyết xử lý các nội dung không well-formed một cách dễ dàng hơn. Giải pháp này sử dụng các bộ parser SAX và StAX kết hợp việc validate dữ liệu sử dụng JAXB kết hợp với bộ Validator.

Parse tài liệu Xml không Well-Formed sử dụng StAX parser với các trường hợp thiếu thẻ đóng tag và thẻ sai thẻ đóng tag

Tác giả: Nguyễn Sinh Cung

Mục đích: Bài viết này nhằm hỗ trợ việc phân tích dữ liệu từ tài liệu xml chưa well-formed, cụ thể là việc crawl dữ liệu từ các trang website sử dụng html. Bài viết này sử dụng bộ StAX parser để xử lý các trường hợp trong quá trình parse tài liệu chưa well-form khi thiếu thẻ đóng và sai thẻ đóng, tiếp tục quá trình xử lý mà không dừng chương trình lại.

Well-form dữ liệu với việc xử lý thiếu đóng thẻ sử dụng StAX Iterator API

Tác giả: Mai Vũ Cường

Mục đích: Chủ đề bài viết này nhằm hướng dẫn việc lấy dữ liệu trong quá trình crawl dữ liệu từ các web site (HTML tĩnh) có lỗi thiếu thẻ đóng   sử dụng StAX (Streaming API for XML) Iterator API. Bài viết này đưa ra giải pháp cho việc lấy được dữ liệu của tài liệu XML đang xử lý mà không well-formed và tiếp tục thực hiện parse cho đến hết toàn bộ văn bản xử lý.

Hiện thực bộ parser html bằng xslt

Hiện thực bộ parser html bằng xslt

Tác giả: Nguyễn Lê Nhật Trường

Mục đích

Chủ đề bài viết này nhằm hướng dẫn cách thực hiện Scrapping Data (Parse dữ liệu từ websites với cấu trúc HTML) thông qua bộ Transformer API for XML (TrAX) sử dụng stylesheet (XSL). Trong bài này, chúng tôi sẽ giới thiệu cách tiền xử lý dữ liệu để đảm bảo tính well-form cho tài liệu XML trước khi apply xsl sử dụng ngay thư viện được Java cung cấp là URIResolver để cho thấy tính chất đơn giản trong việc tiền xử lý.

Trích xuất dữ liệu từ website sử dụng Multithreading và xây dựng các class tổng quát để hỗ trợ tính đa dạng khi khai thác ứng dụng

Tác giả: Nguyễn Thế Phương

Mục đích: Nội dung bài này hướng dẫn cách tối ưu trong việc khai thác dữ liệu lớn tận dụng khả năng của máy tính có nhiều CPU hay nhiều nhân – Core kết hợp với hệ điều hành hỗ trợ đa luồng – multi-threading để tăng hiệu suất và tốc độ trong quá trình khai thác và xử lý dữ liệu. Chúng tôi sẽ định hướng cách chia nhóm công viêc cho các thread thực hiện trong quá trình cào dữ liệu từ một trang web khác đem về để tổ chức thành dữ liệu khai thác trong hệ thống đang được xây dựng.

Sử dụng Selenium Web Driver để trích xuất dữ liệu từ website “động”

Tác giả: Hà Lê Duy Khang

Mục đích: Bài viết này hướng dẫn cách khai thác dữ liệu từ các trang website “động” (những website này sử dụng javascript hay jQuery để tạo front-end tương tác với người dùng) bằng thư viện Selenium Web Driver mà các thư viện thông thường như java.net,  htmlUnit… không thể lấy dữ liệu được. Trong bài viết chúng tôi hướng dẫn cách phân tích (inspect element của web site) từ đó hướng tới cách tổ chức và khai thác dữ liệu trong quá trình xử lý