การพัฒนารูปแบบการฝึก AI โดยใช้ Large Language Models (LLM) เพื่อเกษียนหนังสือราชการ กรณีศึกษา สถาบันนวัตกรรมการเรียนรู้ มหาวิทยาลัยพะเยา
| dc.contributor.author | ญภคกร ไชยมงคล | |
| dc.contributor.author | ปริญาพร สันตะจิตต์ | |
| dc.date.accessioned | 2026-03-26T07:15:25Z | |
| dc.date.available | 2026-03-26T07:15:25Z | |
| dc.date.issued | 2025 | |
| dc.description | This research aims to develop an Artificial Intelligence (AI) training model using Large Language Models (LLM) and to study the effects of its implementation on enhancing the efficiency of the official document processing workflow, based on a case study at the Institute of Learning Innovation, University of Phayao. The research methodology involved the development of a prototype AI system designed to operate on an on-premise server to ensure data security. The system utilizes the Llama 3 language model via the Ollama framework, integrated with a Retrieval-Augmented Generation (RAG) architecture that draws from a knowledge base created from the institute's official documents. The system's performance was evaluated across three dimensions: (1) a quantitative assessment using standard metrics such as F1-Score, BLEU, and ROUGE; (2 ) an evaluation by three experts to validate the research instruments (using the Index of Item-Objective Congruence: IOC) and assess system performance; and (3) a satisfaction survey conducted with a target group of 40 staff members from the institute. The research findings indicate that the AI prototype was successfully developed according to the planned model. The quantitative evaluation demonstrated high performance, achieving an F1-Score of 0.85 for fact-based question answering and a BLEU score of 0 .6 0 for text drafting. The expert evaluation confirmed the reliability of the research instruments (average IOC of 0.82) and rated the prototype's overall performance at the "highest level" (average score of 4.50 out of 5), particularly highlighting its potential for practical application. Furthermore, the evaluation from end-users revealed a "high level" of overall satisfaction (average score of 3.88 out of 5), with the highest satisfaction reported for the system's ability to increase productivity and reduce personnel costs (average score of 4 .0 0). In conclusion, the developed AI training model can be effectively applied to the official document processing workflow. It successfully reduces time and errors, increases operational effectiveness, and has received positive acceptance from both experts and end-users, indicating significant potential for further development and broader implementation in other departments. | |
| dc.description.abstract | การวิจัยนี้มีวัตถุประสงค์ เพื่อพัฒนารูปแบบการฝึกปัญญาประดิษฐ์ (AI) โดยใช้แบบจำลองภาษาขนาดใหญ่ (Large Language Models: LLM) และเพื่อศึกษาผลการนำ AI มาใช้เพิ่มประสิทธิภาพในกระบวนการเกษียนหนังสือราชการ กรณีศึกษา สถาบันนวัตกรรมการเรียนรู้ มหาวิทยาลัยพะเยา ระเบียบวิธีวิจัยเป็นการพัฒนาระบบต้นแบบ AI ที่ทำงานบนเซิร์ฟเวอร์ภายในองค์กร (On-premise) เพื่อรักษาความปลอดภัยของข้อมูล โดยใช้แบบจำลองภาษา Llama 3 ผ่านกรอบการทำงาน Ollama ร่วมกับสถาปัตยกรรม Retrieval-Augmented Generation (RAG) ซึ่งดึงข้อมูลจากคลังความรู้ที่สร้างจากเอกสารราชการของสถาบันฯ การประเมินประสิทธิภาพดำเนินการใน 3 มิติ ได้แก่ (1) การประเมินเชิงปริมาณด้วยตัวชี้วัดมาตรฐาน เช่น F1-Score, BLEU, และ ROUGE, (2) การประเมินโดยผู้เชี่ยวชาญ 3 ท่าน เพื่อตรวจสอบความเที่ยงตรงของเครื่องมือวิจัย (IOC) และประเมินประสิทธิภาพของระบบ, และ (3) การประเมินความพึงพอใจโดยกลุ่มผู้ใช้งานจริง ซึ่งเป็นบุคลากรของสถาบันฯ จำนวน 40 คน ผลการวิจัยพบว่า สามารถพัฒนาระบบต้นแบบ AI ได้สำเร็จตามรูปแบบที่วางแผนไว้ ผลการประเมินเชิงปริมาณแสดงให้เห็นถึงประสิทธิภาพในระดับสูง โดยมีคะแนน F1-Score สำหรับการตอบคำถามเชิงข้อเท็จจริงอยู่ที่ 0.85 และคะแนน BLEU สำหรับการร่างข้อความอยู่ที่ 0.60 ด้านการประเมินโดยผู้เชี่ยวชาญ พบว่า เครื่องมือวิจัยมีความน่าเชื่อถือ (ค่า IOC เฉลี่ย 0.82) และระบบต้นแบบมีประสิทธิภาพโดยรวมในระดับมากที่สุด (ค่าเฉลี่ย 4.50 จาก 5) โดยเฉพาะอย่างยิ่งในด้านศักยภาพการนำไปประยุกต์ใช้จริง ขณะที่ผลการประเมินจากผู้ใช้งานจริงมีความพึงพอใจโดยรวมในระดับมาก (ค่าเฉลี่ย 3.88 จาก 5) โดยพึงพอใจสูงสุดในประเด็นที่ระบบช่วยเพิ่มผลงานและลดต้นทุนกำลังคน (ค่าเฉลี่ย 4.00) โดยสรุป รูปแบบการฝึก AI ที่พัฒนาขึ้นสามารถนำมาใช้ในกระบวนการเกษียนหนังสือราชการได้อย่างมีประสิทธิภาพ ช่วยลดระยะเวลาและข้อผิดพลาดเพิ่มประสิทธิผลในการทำงาน และได้รับการยอมรับในเชิงบวกจากทั้งผู้เชี่ยวชาญและผู้ใช้งานจริง ซึ่งชี้ให้เห็นถึงศักยภาพในการนำไปพัฒนาต่อยอดและขยายผลในหน่วยงานอื่นต่อไป | |
| dc.description.sponsorship | มหาวิทยาลัยพะเยา | |
| dc.identifier.citation | ญภคกร ไชยมงคล และปริญาพร สันตะจิตต์. (2568). การพัฒนารูปแบบการฝึก AI โดยใช้ Large Language Models (LLM) เพื่อเกษียนหนังสือราชการ กรณีศึกษา สถาบันนวัตกรรมการเรียนรู้ มหาวิทยาลัยพะเยา. มหาวิทยาลัยพะเยา. | |
| dc.identifier.uri | https://updc.up.ac.th/handle/123456789/1927 | |
| dc.language.iso | other | |
| dc.publisher | มหาวิทยาลัยพะเยา | |
| dc.subject | แบบจำลองภาษาขนาดใหญ่ | |
| dc.subject | ปัญญาประดิษฐ์ | |
| dc.subject | เกษียนหนังสือราชการ | |
| dc.subject | Retrieval-Augmented | |
| dc.subject | Large Language Models | |
| dc.subject | Artificial Intelligence | |
| dc.subject | Official Document Processing | |
| dc.title | การพัฒนารูปแบบการฝึก AI โดยใช้ Large Language Models (LLM) เพื่อเกษียนหนังสือราชการ กรณีศึกษา สถาบันนวัตกรรมการเรียนรู้ มหาวิทยาลัยพะเยา | |
| dc.type | Other |