เครื่องวิเคราะห์ความถี่คำ

เครื่องวิเคราะห์ความถี่คำ ตอบคำถามง่ายๆ ด้วยข้อมูลที่มีความลึกซึ้งอย่างน่าประหลาดใจ: คำไหนกันแน่ที่ข้อความนี้ใช้บ่อยที่สุด? เพียงวางข้อความร้อยแก้วบล็อกใดก็ได้ ไม่ว่าจะเป็นบล็อกโพสต์ บทถอดเสียง บทความ นวนิยาย รายละเอียดงาน สุนทรพจน์ เครื่องมือนี้จะจัดอันดับคำที่แตกต่างกันแต่ละคำตามความถี่ที่ปรากฏขึ้นมา พร้อมทั้งสร้างแผนภูมิแสดงการแจกแจง และแสดงผลเป็นเวิร์ดคลาวด์แบบโต้ตอบที่ปรับขนาดตามความถี่ เครื่องมือนี้สร้างขึ้นสำหรับนักเขียนที่ต้องการตรวจสอบการใช้คำซ้ำโดยไม่ตั้งใจ, ผู้เชี่ยวชาญด้าน SEO ที่มองหาความหนาแน่นของคีย์เวิร์ดอย่างเป็นธรรมชาติ, นักเรียนที่กำลังศึกษาคำศัพท์ของผู้แต่ง, นักวิจัยที่ต้องการตรวจสอบความหลากหลายทางคำศัพท์อย่างรวดเร็ว และนักแปลหรือนักภาษาศาสตร์ที่ต้องการสำรวจข้อความที่ไม่คุ้นเคย ทุกอย่างทำงานบนเบราว์เซอร์ของคุณหรือบนเซิร์ฟเวอร์ของเรา และไม่มีการจัดเก็บข้อมูลใดๆ ไว้

สิ่งที่ทำให้เครื่องวิเคราะห์นี้แตกต่าง

• ดูตัวอย่างสดขณะที่คุณพิมพ์ แผงด้านข้างจะอัปเดตจำนวนคำที่ไม่ซ้ำ คำทั้งหมด ค่า TTR (ความหลากหลายทางคำศัพท์) และอันดับสูงสุด 5 อันดับแรกแบบสดๆ ในทันที — โดยไม่ต้องคลิกวิเคราะห์ ช่วยให้คุณทดลองปรับตัวกรองได้ภายในเวลาไม่กี่วินาที
• รายการคำหยุด (Stop Words) รองรับ 6 ภาษา ภาษาอังกฤษ สเปน ฝรั่งเศส เยอรมัน อิตาลี และโปรตุเกส — ซึ่งเป็นรายการที่ผ่านการคัดสรรมาอย่างพิถีพิถัน ไม่ใช่การดัมพ์ข้อมูลจำนวนมากอย่างไร้ทิศทาง พร้อมทั้งช่องใส่คำหยุดที่กำหนดเองได้อย่างอิสระสำหรับชื่อตัวละคร ชื่อแบรนด์ หรือข้อความมาตรฐานทั่วไป
• เวิร์ดคลาวด์ที่ปรับขนาดตามรากที่สอง ตัวสร้างคลาวด์ส่วนใหญ่จะปรับขนาดคำตามจำนวนนับดิบ ซึ่งหมายความว่าคำยอดนิยมอันดับแรกอาจมีความสูงเป็น 50 เท่าของคำอันดับกลางๆ และจะบดบังส่วนอื่นๆ ของคลาวด์ไปทั้งหมด การปรับขนาดด้วยรากที่สอง (Sqrt scaling) จะช่วยรักษาให้เวิร์ดคลาวด์ยังคงอ่านง่าย ซึ่งเป็นแนวทางมาตรฐานอุตสาหกรรมที่ใช้กันมาตั้งแต่ Wordle (2009)
• มุมมอง "โพเดียม" 3 อันดับแรก การดูการ์ดทอง/เงิน/ทองแดงเพียงแวบเดียวจะบอกให้คุณรู้ว่าข้อความของคุณพึ่งพาคำใดมากที่สุด ซึ่งเป็นสิ่งแรกที่ควรตรวจสอบเมื่อคุณสงสัยว่ามีการใช้คำซ้ำโดยไม่ได้ตั้งใจ
• สถิติวัดความหลากหลายทางคำศัพท์ อัตราส่วนประเภทต่อโทเคน (Type-Token Ratio) และจำนวนคำที่ปรากฏครั้งเดียว (hapax legomena) จะช่วยให้คะแนนความสมบูรณ์ทางคำศัพท์แก่คุณ ไม่ใช่แค่รายงานความถี่ดิบๆ ข้อความร้อยแก้วสั้นๆ ที่มีค่า TTR > 0.6 ถือว่ามีความหลากหลายสูง ส่วนค่า TTR ที่ต่ำกว่า 0.2 ในเอกสารขนาดยาวแสดงถึงการใช้คำซ้ำซ้อนซ้ำๆ
• ส่งออก CSV ในคลิกเดียว ดาวน์โหลดหรือคัดลอกตารางจัดอันดับฉบับเต็มเพื่อนำไปวิเคราะห์ต่อในโปรแกรมสเปรดชีต

วิธีใช้งานเครื่องมือนี้

1. วางข้อความของคุณ รองรับสูงสุด 200,000 ตัวอักษร — หรือประมาณ 30,000 คำ ซึ่งเทียบเท่ากับความยาวของนวนิยายหนึ่งบทขนาดยาว หรือบล็อกโพสต์หลายๆ บทไฟลรวมกัน
2. เลือกภาษาของคำหยุด หากคุณไม่กรองคำหยุดออก ด้านบนสุดของตารางก็จะมีแต่คำว่า "the", "of", "and" ซึ่งให้ข้อมูลที่เป็นประโยชน์เพียงแค่ครั้งเดียว แต่จะไม่มีประโยชน์ในการวิเคราะห์เนื้อหาหลัก ให้เลือกภาษาที่ตรงกับข้อความของคุณ หรือเลือก None สำหรับการนับความถี่ดิบที่แท้จริง
3. ตั้งค่าความยาวคำขั้นต่ำ ตั้งเป็น 3 หรือ 4 หากคุณต้องการข้ามคำสั้นๆ เช่น "a", "I", "it", "no" ตั้งเป็น 1 เพื่อคงทุกสิ่งเอาไว้
4. เลือกจำนวนผลลัพธ์ที่จะแสดง 50 อันดับแรกคือจำนวนที่เหมาะสมที่สุดสำหรับข้อความร้อยแก้วทั่วไป ส่วน 500 อันดับแรกจะให้ข้อมูลส่วนปลายแถว (long tail) ทั้งหมดที่ครอบคลุม
5. ตัวเลือกเสริม เปิดใช้งานการคำนึงถึงตัวพิมพ์เล็ก-ใหญ่ หากคุณให้ความสำคัญกับความแตกต่างระหว่าง "Paris" และ "paris" เปิดใช้งานการตัดคำพื้นฐาน (lemmatization) เพื่อรวมคำเช่น "runs", "ran" และ "running" เข้าเป็นคำเดียวคือ "run" เปิดใช้งานการนับตัวเลขหากหมายเลขเวอร์ชัน ปี ค.ศ. หรือสถิติต่างๆ มีความหมายสำคัญในข้อความของคุณ
6. คลิก วิเคราะห์ อ่านข้อมูลบนโพเดียม ตรวจสอบตารางแผนภูมิแท่ง ดูเวิร์ดคลาวด์ และส่งออก CSV หากคุณต้องการเจาะลึกข้อมูลเพิ่มเติม

คณิตศาสตร์เบื้องหลังสถิติต่างๆ

ความถี่และเปอร์เซ็นต์

สำหรับคำที่แตกต่างกันแต่ละคำ \( w \) จำนวนนับคือจำนวนครั้งที่คำนั้นปรากฏในรายการโทเคนที่ผ่านการคัดไว้ และเปอร์เซ็นต์คือ \( \text{count}(w) / N \) โดยที่ \( N \) คือผลรวมของโทเคนที่ผ่านการคัดไว้ ความกว้างของแท่งจะสัมพันธ์สัมพัทธ์กับคำที่พบบ่อยที่สุด เพื่อให้คุณเห็นรูปร่างของการแจกแจงได้ในแวบแรก

อัตราส่วนประเภทต่อโทเคน (Type-Token Ratio หรือ TTR)

\( \text{TTR} = U / N \) โดยที่ \( U \) คือจำนวนคำที่ไม่ซ้ำกัน (types) และ \( N \) คือจำนวนโทเคนที่ถูกนับรวมทั้งหมด TTR เป็นวิธีการวัดความหลากหลายทางคำศัพท์ที่ง่ายที่สุด สรุปข่าวสั้นๆ มักจะอยู่ที่ 0.5–0.7 นวนิยายขนาดยาวจะลดลงเหลือ 0.15–0.25 เนื่องจากคำทั่วไปปรากฏซ้ำๆ ค่า TTR จะแปรผันตามความยาวของข้อความ — ข้อความขนาดยาวจะมีค่า TTR ต่ำกว่าข้อความสั้นเสมอ ดังนั้นจึงไม่ควรเปรียบเทียบค่า TTR ระหว่างเอกสารที่มีขนาดแตกต่างกันอย่างมาก

Hapax legomena

hapax legomenon (ภาษากรีกแปลว่า "กล่าวครั้งเดียว") คือคำที่ปรากฏเพียงครั้งเดียวพอดีในข้อความ จำนวนนับ hapax และเปอร์เซ็นต์ hapax เป็นสัญญาณคลาสสิกที่บ่งบอกถึงความร่ำรวยของคลังคำศัพท์ ในผลงานทั้งหมดของ Shakespeare มีคำที่แตกต่างกันประมาณ 31,000 คำ ซึ่งเป็น hapax ไปแล้วประมาณ 14,000 คำ — คิดเป็นประมาณ 45% บล็อกโพสต์ในยุคปัจจุบันมักจะสูงถึง 60% หรือมากกว่านั้นเนื่องจากเนื้อหาของข้อความมีไม่มากพอที่จะทำให้คำเกิดการปรากฏซ้ำ

การปรับขนาดฟอนต์ของเวิร์ดคลาวด์

ขนาดฟอนต์สำหรับคำ \( w \) ในเวิร์ดคลาวด์จะใช้การปรับขนาดด้วยรากที่สอง (square-root scaling) ระหว่างจำนวนนับต่ำสุดและสูงสุดที่แสดงผล:

\( \text{size}(w) = 60\% + 180\% \cdot \dfrac{\sqrt{\text{count}(w)} - \sqrt{\text{min}}}{\sqrt{\text{max}} - \sqrt{\text{min}}} \)

วิธีนี้จะช่วยบีบช่วงไดนามิกให้แคบลง ทำให้คำที่มีความถี่ 200× มีความสูงเป็นประมาณ 3 เท่าของคำที่มีความถี่ 20× ไม่ใช่ 10 เท่า หากไม่มีการบีบอัดนี้ เวิร์ดคลาวด์จะถูกครอบงำด้วยคำยักษ์เพียงหนึ่งหรือสองคำเท่านั้น

ระดับชั้นความถี่จำแนกตามสี (Color-coded frequency tiers)

แท่งกราฟและคำในเวิร์ดคลาวด์จะถูกแบ่งรหัสสีตามระดับชั้นอันดับ เพื่อให้คุณมองเห็นรูปแบบการแจกแจงโครงสร้างข้อความของคุณได้อย่างรวดเร็ว:

กรณีการใช้งาน (Use cases)

นักเขียน — ตรวจจับการใช้คำซ้ำโดยไม่ตั้งใจ

คุณจะรู้สึกประหลาดใจว่าบ่อยแค่ไหนที่คำคำเดียว (เช่น "quickly", "really", "essentially", หรือชื่อตัวละคร) แอบขึ้นไปอยู่บนจุดสูงสุดของร่างงานเขียนของคุณ วางบทความหรือบทละครของคุณแล้วดูโพเดียมทอง-เงิน-ทองแดง หากมีคำเนื้อหาปรากฏขึ้นมาตรงนั้นโดยที่คุณไม่ได้ตั้งใจเน้นย้ำ แสดงว่าคุณมีจุดที่ต้องแก้ไขและเกลี่ยคำใหม่แล้ว

SEO และการตลาดเนื้อหา (Content Marketing)

ตั้งค่าตัวกรองคำหยุดและความยาวขั้นต่ำ จากนั้นอ่าน 25 อันดับแรก คำเหล่านี้คือคำที่ระบบเสิร์ชเอนจินจะเชื่อมโยงกับหน้าเว็บของคุณมากที่สุด หากคำเหล่านี้ไม่ตรงกับกลุ่มคีย์เวิร์ดเป้าหมายของคุณ ประสิทธิภาพ SEO บนหน้าเว็บ (On-page SEO) ของคุณก็จะลดลง หลีกเลี่ยงการยัดเยียดคีย์เวิร์ด (keyword stuffing) เนื่องจากอัลกอริทึมสมัยใหม่จะลงโทษหน้าเว็บที่มีความหนาแน่นไม่เป็นธรรมชาติ เป้าหมายที่เหมาะสมและปลอดภัยคือประมาณ 1–2% สำหรับคีย์เวิร์ดหลักของคุณ

การศึกษาทางวรรณกรรมและรูปแบบวิธีเขียน (Stylistics)

ลองวางเนื้อหาหนึ่งบทของ Dickens เปรียบเทียบกับ Hemingway แล้วเปรียบเทียบค่า TTR, เปอร์เซ็นต์ hapax และความยาวคำเฉลี่ย ลายนิ้วมือทางตัวเลขของสไตล์การแต่งของนักเขียนแต่ละคนนั้นมีความสอดคล้องกันอย่างน่าทึ่งในผลงานทั้งหมดของพวกเขา — นี่คือรากฐานของวิชาการวัดสไตล์เชิงคำนวณ (computational stylometry)

การวิเคราะห์สุนทรพจน์และบทถอดเสียง

นักการเมืองและ CEO มักจะมีคำโปรดที่ชอบใช้ ลองนำสุนทรพจน์มาผ่านเครื่องวิเคราะห์โดยลบคำหยุดออก คำ 15 อันดับแรกจะเปิดเผยกลยุทธ์การสื่อสารสารสนเทศของพวกเขา ลองเปรียบเทียบสุนทรพจน์สองบทโดยผู้พูดคนเดียวกันเพื่อดูว่าประเด็นเน้นย้ำมีการเปลี่ยนแปลงไปอย่างไร

การแปลและการเรียนรู้ภาษา

เมื่อทำงานแปล ให้รันข้อความต้นฉบับก่อนเพื่อดูว่าคำเนื้อหาใดที่มีอิทธิพลครอบคลุม ตรวจสอบให้แน่ใจว่างานแปลของคุณรักษาการเน้นย้ำในสัดส่วนเดียวกัน สำหรับผู้เรียนภาษา การเลือกบทความขนาด 200 คำมารันโดยไม่กรองคำหยุดจะช่วยแสดงให้เห็นว่าคำที่ทำหน้าที่ทางไวยากรณ์ (function words) คำใดที่คุณจำเป็นต้องจดจำและทำความเข้าใจให้ได้อย่างคล่องแคล่ว

งานวิจัยและการเขียนเชิงวิชาการ

วารสารหลายฉบับคาดหวังให้มีการใช้คำศัพท์ที่มีการควบคุมอย่างเหมาะสมในบทคัดย่อ การตรวจสอบความถี่ก่อนส่งผลงานจะช่วยดักจับการใช้ศัพท์เฉพาะทางเกินความจำเป็นโดยไม่ตั้งใจ นักวิจัยที่ศึกษาด้านคลังข้อมูลภาษา (corpus-linguistics) จะใช้รายการความถี่นี้เป็นข้อมูลเริ่มต้นสำหรับการทำงานด้านคำปรากฏร่วม (collocation), n-gram และการทำแบบจำลองหัวข้อ (topic modeling) — ซึ่งเครื่องมือนี้จะช่วยสร้างข้อมูลชุดนั้นให้คุณ

การตั้งค่าที่แนะนำตามประเภทเอกสาร

คำถามที่พบบ่อย

อะไรที่นับว่าเป็น "คำ"?

ตัวแยกโทเคน (tokenizer) จะจับคู่ตัวอักษร Unicode หนึ่งตัวหรือมากกว่านั้น ซึ่งอาจเชื่อมกันด้วยเครื่องหมาย apostrophe หรือยัติภังค์ (hyphen) ดังนั้น don't, state-of-the-art, และ l'ovvio จะถูกนับเป็นหนึ่งคำ ตัวเลขจะถูกคัดออกโดยค่าเริ่มต้น — คุณสามารถสลับเปิด "นับตัวเลขด้วย" ได้หากต้องการรวมเข้าในการวิเคราะห์ ตัวแยกโทเคนรองรับการทำงานทั้งในอักษรละติน, ซีริลลิก, กรีก และ CJK (จีน เจแปน โคเรียน)

การตัดคำพื้นฐาน (lemmatizer) ทำอะไรบ้าง และไม่ทำอะไรบ้าง?

มันจะแปลงรูปคำแบบเบาๆ 3 รูปแบบ คือ ตัดรูปแสดงความเป็นเจ้าของ 's ออก, ยุบรูปท้ายคำกริยาทั่วไป (-ing, -ed) และคำพหูพจน์ขั้นพื้นฐาน (-s, -es, -ies → -y) มันจะไม่ได้แปลงรูปโครงสร้างคำเต็มรูปแบบขั้นสูง (เช่น better → good, went → go) การตัดคำเต็มรูปแบบเช่นนั้นจำเป็นต้องใช้คลังข้อมูลพจนานุกรม WordNet ซึ่งเกินความจำเป็นสำหรับการวิเคราะห์ความถี่ที่ผู้ใช้มักต้องการเห็นรูปคำที่แท้จริง นอกจากนี้แนวทางแบบระมัดระวังนี้ยังช่วยหลีกเลี่ยงข้อผิดพลาดร้ายแรงของระบบตัดรากคำ (stemmer) เช่น การยุบคำที่มีความหมายแตกต่างกันโดยสิ้นเชิงเข้าด้วยกัน (เช่น "university" และ "universe" ซึ่งจะถูกแชร์รากคำเดียวกันภายใต้ระบบ Porter)

ทำไมตัวอย่างแสดงผลสดและผลลัพธ์จากเซิร์ฟเวอร์ถึงแตกต่างกันเล็กน้อย?

ตัวอย่างแสดงผลสดจะกรองเฉพาะคำหยุดภาษาอังกฤษที่ฝั่งไคลเอนต์ (เบราว์เซอร์) เท่านั้น เพื่อให้สคริปต์มีขนาดเล็กที่สุด ส่วนภาษาอื่นๆ จะถูกกรองอย่างสมบูรณ์แบบที่ฝั่งเซิร์ฟเวอร์ นอกจากนี้เซิร์ฟเวอร์จะใช้การตัดคำพื้นฐานเมื่อมีการเปิดใช้งาน แต่จำนวนโทเคนรวมทั้งหมดจะเท่ากันระหว่างทั้งสองฝั่งเสมอ

เครื่องมือนี้รองรับอักษรที่ไม่ใช่ละตินหรือไม่?

รองรับ — ตัวแยกโทเคนใช้คลาสอักษร Unicode ดังนั้นข้อความที่เป็นอักษรซีริลลิก, กรีก, อาหรับ, ฮีบรู, จีน, ญี่ปุ่น และเกาหลี จึงสามารถแยกโทเคนได้อย่างถูกต้อง ทั้งนี้ ภาษาจีนและภาษาญี่ปุ่นไม่ได้ใช้การเว้นวรรคระหว่างคำ ดังนั้นอักษร CJK ที่อยู่ติดกันเป็นพืดจะถูกปฏิบัติเสมือนเป็น "โทเคน" เดียวกัน — หากต้องการแบ่งส่วนคำที่ถูกต้องสำหรับภาษาเหล่านั้น คุณจำเป็นต้องใช้ตัวแยกคำเฉพาะทางโดยตรง เช่น jieba (สำหรับภาษาจีน) หรือ MeCab (สำหรับภาษาญี่ปุ่น)

ขีดจำกัดสูงสุดของขนาดข้อความคือเท่าใด?

200,000 ตัวอักษรต่อการรันหนึ่งครั้ง — หรือประมาณ 30,000 คำในภาษาอังกฤษ ซึ่งเทียบเท่ากับบทหนึ่งของนวนิยายทั่วไป หากเกินกว่านั้น หน่วยความจำของเบราว์เซอร์และขนาดการส่งคำขออินเทอร์เน็ตอาจมีปัญหา แนะนำให้แบ่งข้อความเป็นส่วนย่อยๆ แล้วทยอยรัน

ข้อความของฉันเป็นส่วนตัวหรือไม่?

ใช่ ข้อความจะถูกประมวลผลในหน่วยความจำเพื่อสร้างหน้าผลลัพธ์และไม่มีการเขียนลงในดิสก์ สถิติมินิแบบสดในขณะที่คุณพิมพ์จะทำงานบนเบราว์เซอร์ของคุณทั้งหมด เราไม่มีการบันทึก บันทึกประวัติ จัดเก็บ หรือวิเคราะห์เนื้อหาที่คุณวางแต่อย่างใด

ประวัติศาสตร์โดยย่อของการวิเคราะห์ความถี่คำ

รายการความถี่คำจัดเป็นหนึ่งในเครื่องมือที่เก่าแก่ที่สุดในวิชาภาษาศาสตร์ รายการความถี่คำที่สร้างขึ้นด้วยเครื่องจักรเป็นครั้งแรกในภาษาอังกฤษคือผลงานของบาทหลวง Roberto Busa ในช่วงปี 1949–1980 ชื่อว่า Index Thomisticus ซึ่งนับคำทุกคำในผลงานของ Thomas Aquinas โดยใช้เครื่องเจาะบัตรของ IBM ซึ่งได้รับการยกย่องอย่างกว้างขวางว่าเป็นโครงการบุกเบิกของสาขาดิจิทัลมนุษยศาสตร์ ต่อมาคลังข้อมูล Brown Corpus (1961) ได้จัดทำรายการความถี่คำขนาดหนึ่งล้านคำจากการสุ่มตัวอย่างอย่างเป็นระบบเป็นครั้งแรกสำหรับภาษาอังกฤษอเมริกันสมัยใหม่ ในปัจจุบัน เสิร์ชเอนจินทุกระบบ ระบบแปลภาษาด้วยเครื่อง โมเดลภาษาขนาดใหญ่ (LLM) และเครื่องมือ SEO ล้วนทำงานบนสถิติความถี่ของคำและโทเคนในระดับสเกลใหญ่ การจัดอันดับด้วยตัวนับ (Counter-based) แบบง่ายๆ ที่คุณเห็นในเครื่องมือนี้ก็คือแกนหลักหลักการเดียวกันของศาสตร์แขนงนี้