人機交互系統（HCI），又稱交互系統、用戶界面、人機界面、人機接口等。，是一門研究人、計算機和其他設備之間的通信以最大程度地為人們完成信息管理、服務和處理的技術科學，可以使計算機和其他設備真正成為人們工作、學習和生活的助手。人機交互系統具有魯棒性、友好性、靈活性和透明性的特點。

人機交互系統是以計算機為基礎的系統，由軟件系統和硬件系統組成。其中，軟件是人機交互系統的核心，相應的硬件系統設備為軟件的正常運行提供了基礎保障和運行環境。人機交互系統的工作原理是將事物的信息轉換為數字信息，然后通過人與人之間的交互獲得人與物之間的聯系。人機交互系統的關鍵技術包括觸摸屏技術、語音處理技術和體感動作識別技術。到2024年，人機交互的主要類型是語音交互、視覺交互、可穿戴交互、腦電交互和觸覺交互。未來，研究如何實現自然、便捷和無處不在的人機交互是現代信息技術和人工智能技術研究的最高目標，也是數學、信息科學、智能科學、神經科學、生理學和心理學的新交叉領域，將引導21世紀初信息和計算機研究的熱點方向。

人機交互系統的發展與計算機的發展基本同步，主要經歷人工操作與命令行交互、圖形用戶界面交互和自然人機交互三個階段。1946年，第一臺通用計算機Eniac在美國賓夕法尼亞州誕生。操作員根據不同功能面板上的開關鍵輸入數據。

從20世紀60年代中期到80年代，計算機使用基于鍵盤的命令行界面。20世紀70年代，施樂公司首次在奧拓計算機中開發出位圖像的圖形顯示技術，為第一代人機界面即WIMP界面奠定了基礎。

1984年，蘋果將WIMP技術引入微型計算機領域。次年，微軟推出了Windows操作系統。此后，直接操作界面和WIMP模式被廣泛使用。1995年，利諾伊斯大學開發了“洞穴”虛擬現實系統，實現了身臨其境的體驗。2006年，以色列PrimeSense公司推出了基于光編碼技術的3D傳感器PrimeSense。2011年，Tobii推出了一款具有眼球追蹤技術的產品，該技術允許用戶僅通過眼球運動來控制系統。同年，Culus公司推出了體驗良好的頭戴式顯示設備0cuusRi。從2015年到2022年，隨著大量虛擬現實產品的出現，推動了VR技術的發展和創新，同時也在無形中促進了用戶體驗更好的產品的研發，人機交互也進入了自然人機交互階段。

1946年，第一臺通用計算機——電子數字積分器和計算器（ENIAC）在美國賓夕法尼亞州誕生。Eniac是一臺巨大的機器，有30多個控制臺。輸入是操作員手動打開或關閉計算機上的電路板，輸出是電路板上燈的亮度。Eniac中的每個功能儀表都有多個開關，操作員可以根據不同功能面板上的開關鍵輸入數據。20世紀50年代，信息被記錄在穿孔卡片上，然后批量輸入計算機。當計算機完成處理后，結果以字符終端結合指示燈的形式輸出給用戶。在計算機輸出最終結果之前，用戶不能中斷計算機的操作進行任何其他形式的輸入，因此這種方法也稱為批處理。然而，這種方法由于速度慢、穩定性差而逐漸被淘汰。

1956年，麻省理工學院開始使用鍵盤向計算機輸入數據。自20世紀60年代中期以來，大多數計算機都使用基于鍵盤的命令行界面。用戶在指令行界面上鍵入指令，界面接收指令并將其轉換為相應的系統函數。從20世紀70年代到80年代，人們繼續采用這種互動模式。眾所周知，UNIX、微軟DOS和蘋果DOS都是通過命令行指令實現的。

20世紀60年代，圖形用戶界面的出現極大地改變了人機交互的方式。GUI簡單易學，鍵盤操作少，不懂電腦的普通用戶也能熟練使用。這增加了用戶基礎，并使計算機技術得到廣泛應用。1963年，斯坦福研究所的科學家恩格爾巴特發明了鼠標。此后，經過不斷改進，該鼠標已成功應用于蘋果和微軟等公司的圖形界面系統中。鼠標和鍵盤一起成為計算機系統中必不可少的輸入設備。自20世紀90年代以來，隨著全球網絡熱的升溫，鼠標已成為必備的人機交互工具。

20世紀70年代，施樂首次在Alto computer中開發了位圖圖形顯示技術，使開發重疊窗口、彈出菜單和菜單欄成為可能。這些工作奠定了圖形用戶界面的基礎，并形成了基于窗口、圖標、菜單和定點設備的第一代人機界面，即WIMP界面。1984年，蘋果公司模仿PARC技術開發了新的麥金塔個人電腦，并將WIMP技術引入微型計算機領域。這種基于鼠標和下拉菜單的操作方式和直觀的圖形界面引發了微機人機界面的歷史性變革。1985年，微軟推出了Windows操作系統。此后，directmanipulation Interface（DM）和WIMP（窗口、圖標、菜單和指針，即窗口、圖標、菜單和指示器）得到了廣泛應用。與此同時，用戶界面管理開始從應用程序功能中分離出來，人機交互的研究重點轉向用戶中心化設計，所見即所得（WYSIWYC）的概念成為界面設計的流行指導原則。

1972年，諾蘭·布什內爾發明了第一臺交互式電子游戲Pong，并首次將控制技術應用于人機交互系統。1977年，托拉·德芬蒂和丹尼爾·桑丁開發了一種手套傳感器系統SayreClove。用戶只需要戴上這種特殊的手套就可以向計算機輸入特定的指令。1983年，格里姆斯設計了一種數據手套，可以讓計算機獲得手的位置和手指的伸展等信息，并最早獲得了“數據手套”的專利。1985年，美國國家航空航天局開發了一種LCD光學頭戴式顯示器，它結合了頭部和手部跟蹤功能，以實現更身臨其境的體驗。它主要用于太空作戰的模擬訓練。1995年，利諾伊斯大學開發了“洞穴”虛擬現實系統，通過三面墻的投影空間和立體液晶快門眼鏡實現了身臨其境的體驗。2002年，日本三洋電機開發了一種不戴眼鏡就能觀看立體圖像的顯示器，這種顯示器被稱為裸眼立體顯示器。2020年，MIT數據手套、5DT數據手套、CyberClove等數據手套進入商用領域，并在電子游戲、體能訓練和體能康復訓練等各種場景中投入使用。

2005年，以色列的PrimeSense公司啟動了一個項目，開發能夠使數字設備獲得現實世界三維感知的技術。次年，該公司推出了基于光編碼技術的3D傳感器PrimeSense。2006年，任天堂開發了Wii遙控游戲機，使用簡單的手持設備來檢測控制器在空間中的旋轉和移動，并通過這種方式讓玩家體驗體感游戲中的交互方式。2007年，蘋果發布了第一代觸摸屏和顯示屏同屏的iPhone，標志著人機交互第二次革命的開始。

2010年6月，微軟宣布與PrimeSense合作開發的體感交互設備Kinect，這樣體感交互就不需要任何手持或可穿戴設備，傳感器可以主動感知用戶的三維姿勢并理解用戶的交互意圖。這款設備一問世，就打破了消費電子產品最快銷售的吉尼斯世界紀錄。2011年，Tobii推出了兩款具有眼球跟蹤技術（跟蹤眼球運動）的產品，使用戶能夠僅使用眼球運動來控制他們的系統。這種眼球追蹤技術最早出現在筆記本電腦上，后來它也被應用到可以與PC連接的獨立設備上。這項技術已被納入更多的系統。

2013年2月，Leap公司發布的LeapMotion設備將手勢交互提升到了一個新的高度，并通過視覺處理識別徒手交互，推動了虛擬現實的發展速度。同年，Culus公司推出了體驗良好的頭戴式顯示設備0cuusRi。2014年，Faeebook以20億美元的價格收購了0culus公司及其開發團隊，這讓VR再次升溫，虛擬現實技術迎來了爆發期。

從2015年到2022年，在0cuusRi問世后，HTC與Valve合作推出了Vive，微軟推出了HoloLens，谷歌投資了Magic Leap，索尼推出了Play Station VR。各大行業巨頭在虛擬現實行業的布局引發了其全球火爆的局面，國內也出現了暴風魔鏡、Idealense、3Class 3等一大批虛擬現實設備制造商和內容提供商，推動了VR技術的發展和創新，但也在無形中促進了它的發展。到2022年底，人類常用的自然交互方法研究取得重大成果，包括手寫識別、筆式交互、語音識別、語音合成和DigitalInk等。

人機交互的原理是將事物的信息轉換為數字信息，然后通過人機交互獲得人與事物之間的聯系。人與計算機使用一定的對話語言，以一定的交互方式完成具有一定任務的人與計算機之間的信息交換過程。但是，對于事物之間的連接，它還沒有大規模部署。主要“瓶頸”在于構建“物物連接”網絡的成本較高，技術有待進一步研發。

基本組成

人機交互系統是一個基于計算機的系統，由軟件系統和硬件系統組成。其中，軟件是人機交互系統的核心，相應的硬件系統設備為軟件的正常運行提供了基礎保障和運行環境。此外，任何強大的人機交互系統都只是輔助工具，系統的運行離不開系統使用者的創造性思維活動。因此，使用人機交互系統的技術人員也是系統的一部分。軟件、硬件和人的有效融合是發揮人機交互系統強大功能的前提。

硬件部分：人機交互的硬件系統通常是指用戶可以相互交互的獨立硬件環境。人機交互的硬件主要包括主機、輸入設備（鍵盤、鼠標、掃描儀等。）、輸出設備（顯示器、繪圖儀、打印機等）。）、信息存儲設備（主要是外部存儲器，如硬盤、軟盤、光盤等。）、網絡設備和多媒體，如下圖所示。

軟件組成：人機交互系統的軟件分為三個層次，即系統軟件、支撐軟件和應用軟件。系統軟件是與計算機硬件直接相關的軟件，一般由專業軟件開發商開發。它起到了擴展計算機功能、合理調度和使用計算機的作用。系統軟件有兩個特點:第一，它是公共的，它應該用于任何應用領域；二是基礎性，各種配套軟件和應用軟件都需要在系統軟件的支持下運行。

互動類型

人機交互系統的典型類型包括語音交互、視覺交互、可穿戴交互和腦電交互。

語音交互：語音交互是通過自然語音或機器合成語音與計算機進行交互的綜合技術。通過識別和理解，機器將語音信號轉換為相應的文本或命令，人們通過語音與機器進行交流，使機器能夠理解用戶的交互意圖。語音交互是一種高效的交互方式，解放了人們的雙手，廣泛應用于智能機器人、智能家居、駕駛導航等場合。語音交互的典型產品包括語音助手蘋果Siri、谷歌助手和微軟Cortana；語音音箱亞馬遜Echo、蘋果HomePod、谷歌Home、微軟Invoke和阿里天貓精靈。

視覺互動：視覺交互是通過拍攝或掃描物理世界中的人和物體來獲得數字圖像或圖像序列，并利用模式識別和機器學習技術來識別其物體的運動。典型應用包括生物識別、計算機視覺、手勢識別、人體跟蹤、字符識別等。視覺交互的典型產品是谷歌眼鏡，它通過智能語音交互功能解放用戶的雙手，其虛擬顯示屏為用戶帶來全新的視覺體驗。

可穿戴交互：可穿戴交互是指可穿戴計算機是一種超微型、可穿戴的人機“最佳組合與協作”。可穿戴交互是通過附著在人體上的微型計算機系統實現的。該系統始終處于工作、待機和可訪問狀態，增強了人的感知能力，主動感知佩戴者的情況、環境和需求，并獨立做出適當的響應，從而弱化“人操作機器”，強化“機器輔助人”。可穿戴交互主要包括智能眼鏡、智能手表、智能腕帶、智能跑鞋、智能戒指、智能臂帶、智能腰帶、智能頭盔和智能按鈕。

腦電圖相互作用：腦電交互基于腦電信號分析，可以提供人機交互的直接方式，即依靠人類的腦電波信號來識別并將其翻譯為機器的指令。腦電識別和腦電交互將對人機交互產生革命性的影響。腦電交互是人機交互的一個重要方向。在世界范圍內，對人腦和類腦的研究引起了極大的關注。2013年，《科學》雜志提出了六個值得關注的科學領域，人腦互聯項目就是其中之一。歐盟也啟動了人腦工程項目。2013年，歐盟公布了“未來和新興技術（FET）旗艦項目”競賽結果。石墨烯和人腦工程從21個候選項目中脫穎而出，獲得最終大獎，未來十年將分別獲得10億歐元的科研資助。

觸覺互動：觸覺交互是指用戶用手指或數字筆在觸摸屏、圖形板或手寫板上點擊或書寫，電子墨水形成的筆跡被識別為書寫內容或手勢命令。

觸摸屏技術

觸摸屏技術允許用戶通過觸摸屏幕輸入信息，包括電阻、電容、紅外、表面聲波等技術。目前，移動終端主要采用電容式技術觸摸屏。2018年底，電容技術成為主流。這項技術的歷史可以追溯到蘋果公司的第一臺PDA，它開啟了觸摸屏在移動終端中的應用，尤其是iPhone的推出，徹底改變了觸摸屏技術的應用范圍和用戶交互方式，使觸摸不再局限于簡單的點擊和滑動，也促進了觸摸屏應用的廣泛發展。觸摸屏技術不僅改變了設備的操作習慣，而且在軟件支持和人體工程學方面也有巨大的潛力有待開發。

語音處理技術

語音處理技術可以對移動終端接收到的語音信號進行簡單處理，語音撥號和語音控制是移動終端的配置之一。典型的語音處理應用是iPhone的Siri，它可以識別從移動終端接收的語音，并通過網絡將信息發送回計算中心進行匹配處理，然后將其發送回移動終端以給用戶相應的反饋。

體感動作識別技術

2009年，微軟發布了Xbox360的外設Kinect。Kinect可以在沒有任何控制器的情況下捕捉玩家在三維空間中的動作并完成指令輸入。Kinect使用連續光（近紅外）對測量空間的光斑進行編碼，通過傳感器讀取編碼后的散射光，然后對其進行解碼以生成具有深度的3D圖像。然后它對連續的3D圖像進行分析，過濾掉干擾噪聲，提取人體模型，記錄人體動作，并通過機器學習理解用戶的肢體動作，最終生成具有20個關節的人體骨架，從而理解人體動作。體感運動識別技術不僅用于運動檢測，還可以在細化后解讀面部表情、肌肉和唇語，還可以與面部識別技術、虛擬現實結合甚至用于外部環境感知。盡管Kinect對于移動終端來說仍然功耗過大，暫時只能在筆記本中使用，但這并不妨礙它被納入移動終端的人機交互技術中，體感識別技術也將進入移動終端領域。

人機交互的簡化模型：人機交互的簡化模型如下圖所示。左邊的人和右邊的電腦在交互過程中形成了一個閉環。左邊的人通過特定的輸入設備向右邊的計算機輸入信息，右邊的計算機對輸入的信息進行一定程度的處理和加工，然后通過特定的輸出設備將結果反饋給左邊的人。左邊的人根據從計算機接收到的信息判斷是否執行下一個任務或操作。這個循環形成了一個閉環。

人機交互系統

人機交互的心理模型：今天，人機交互主要是在占主導地位的圖形用戶界面的幫助下進行的。細化后可以得到如下圖所示的人機交互心理模型。到2019年，圖形用戶界面是人機交互的主要媒介。用戶手動操作鼠標或鍵盤，通過擊鍵或點擊向計算機輸入信息。計算機系統收到信息后進行處理，并反饋和輸出不同形式的多媒體內容，如文本、圖形、圖像、音頻、視頻、動畫等。通過界面上的窗口、圖標、菜單等載體傳遞給用戶。用戶通過眼睛和耳朵等不同渠道感知計算機的輸出信息，并在大腦中對信息進行加工和處理。

人機交互的信息流模型：人機交互的信息處理模型如下圖所示。在人機信息交換過程中，左邊的人和右邊的計算機構成了兩個獨立的認知主體，人機界面起到了媒介的作用。從仿生學的角度來看，右邊計算機的信息感知、認知和處理過程實際上是在模擬左邊人的信息感知、認知和處理過程。該人機交互信息流模型可用于指導人機交互系統和界面的設計。