第266章 先睡了
日常生活和經濟全球化之間存在密切的關係。經濟全球化是一個涉及全球範圍內經濟活動、貿易、投資、金融等方面的概念，它使得各國經濟相互依存、相互聯繫，形成一個全球範圍的有機經濟整體。這種全球化的趨勢對人們的日常生活產生了深遠的影響。
以購物為例，經濟全球化使得人們可以輕鬆地購買到來自世界各地的商品。無論是在大型超市、電商平台還是實體店，我們都可以看到來自不同國家的商品琳琅滿目。這些商品可能包括食品、衣物、電子產品等，它們不僅豐富了我們的選擇，也提高了我們的生活質量。
文本相似度計算是自然語言處理（NLP）領域的一個重要研究方向，它旨在衡量兩個或多個文
本之間的相似程度。文本相似度計算的原理基於兩個主要概念：共性和差異。共性指的是兩個文本
之間共同擁有的信息或特徵，而差異則是指它們之間的不同之處。當兩個文本的共性越大、差異越
小，它們之間的相似度就越高。
文本相似度計算可以根據不同的分類標準進行分類。首先基於統計的方法分類，這種方法主要
關注文本中詞語的出現頻率和分佈，通過統計信息來計算文本之間的相似度。常見的基於統計的方
法有餘弦相似度、Jaccard相似度等。其次是基於語義的方法分類，這種方法試圖理解文本的含義
和上下文，通過比較文本的語義信息來計算相似度。常見的基於語義的方法有基於詞向量的方法
（如Word2Vec、GloVe等）和基於主題模型的方法（如LDA、PLSA等）。最後是基於機器學習的方
法分類，這種方法利用機器學習算法來訓練模型，通過模型來預測文本之間的相似度。常見的基於
機器學習的方法有支持向量機（SVM）、神經網絡等。
目前，在國內外，文本相似度計算已經取得了豐富的成果。國內方面，清華大學等機構的研究
者提出了基於深度學習的文本相似度計算方法，利用神經網絡模型來捕捉文本的深層語義信息，實
現了較高的相似度計算精度。江蘇師範大學的研究者提出了利用《新華字典》構建向量空間來做中
文文本語義相似度分析的方法，該方法在中文文本相似度計算方面取得了顯着的效果。放眼國外，
Google的研究者提出了Word2Vec算法，該算法將詞語表示為高維向量空間中的點，通過計算點之
間的距離來衡量詞語之間的相似度。Word2Vec算法在文本相似度計算領域具有廣泛的影響。斯坦
福大學等機構的研究者提出了BERT模型，該模型通過大量的無監督學習來捕捉文本的上下文信
息，可以實現高精度的文本相似度計算。BERT模型在多項自然語言處理任務中均取得了優異的表
現。
2.5本章小結
本章主要介紹了本項目中使用的四種關鍵技術與模型。這些技術主要基於大型語言模型，並且
依賴於RAG技術的原理。介紹了知識抽取技術，它利用先進的自然語言處理技術從文本中提取有意
義的信息和知識，隨後討論了文本處理中所使用的RAG技術，該技術可以顯着提高大型語言模型在
專業領域的性能，增強信息檢索的準確性和效率。最後探討了在文本比對過程中所需的相似度計算
方法，這對於評估文本之間的相似程度至關重要。
了解清楚數據獲取來源后，進行數據採集，數據採集的方法包括自動化和手動兩種方式：
自動化採集：利用編寫的Python腳本通過API接口自動從上述數據庫和期刊中下載文獻和元
數據，部分代碼如圖3.2所示。這種方法的優點是效率高，可以大量快速地收集數據。使用
BeautifulSoup和Requests庫從開放獲取的期刊網站爬取數據。
手動採集：通過訪問圖書館、研究機構以及聯繫文章作者等方式獲取不易自動下載的資源。雖
然此方法更費時，但有助於獲取更全面的數據集，特別是一些最新或尚未公開的研究成果。
將兩種方法採集到的文獻數據進行匯總，最大範圍的將有關電力LCA領域的英文文獻進行匯
總，共獲得507篇。
最後是將各個途徑獲取到的文獻數據和元數據匯總，進行數據預處理。
採集到的數據需經過清洗和預處理，才能用於後續的分析。
數據預處理的步驟包括：
數據清洗：刪除重複的記錄，校正錯誤的數據格式，填補缺失值。
數據整合：將來自不同來源的數據整合到一個統一的格式和數據庫中，如表3.1所示，以便進
小主，這個章節後面還有哦，請點擊下一頁繼續閱讀，後面更精彩！
為了使後續知識庫生成更加準確與完善，對文獻具體內容進行篩選。例如部分文獻中並未提到
所用數據，而是指出所用數據庫連結，如圖3.3所示，在對該篇文獻進行解析后，數據部分就是欠
缺的，最終構建的知識庫就不完整，在調用大模型回答相關問題時，極大概率產生幻覺。因此為了
構建更為準確的專業模型，對爬取下來的507篇文獻進行篩選，選擇包括流程圖（system
boundaries）、各單元過程或生產環節的投入（input），產出（output），數據（），以及數據的時間、地點、獲取方法、技術細節的文獻作為最後應用的數據。核對內容
后的文獻數據集共98篇英文文獻。
數據預處理
Unstructured庫是一個強大的工具，專為處理非結構化數據設計，具體流程如圖3.7所示，
如從文本文檔、PDF文件或網頁中提取數據。它支持多種數據提取方法，包括正則表達式匹配、自
然語言處理（NLP）技術等。
數據預處理步驟如下：
步驟一：數據清洗
去除雜質：從文本中去除無關的字符，如特殊符號、空白行等。
格式統一：將所有文本統一為相同的編碼格式，通常為UTF-8，以避免編碼錯誤。
語言標準化：統一不同術語的使用，例如將所有"photovoltaic"統一替換為"PV"，確保術語的
一致性。
步驟二：信息提取
關鍵信息標識：標識文獻中的關鍵信息，如研究方法、主要結論、實驗條件等。
數據分類：根據信息類型將數據分類，如作者、出版年份、研究結果等。
步驟三：結構化轉換
結構化處理：將信息精細化拆解與清洗，將各種元素進行轉換，形成結構化數據形式，拆分成
非結構化文本數據通常非常稀疏，即包含大量的詞彙但每個文檔只使用其中的一小部分。而結
構化數據則可以通過合併相似信息來降低數據的稀疏性，這有助於生成更加緊湊和有效的嵌入向
量。
結構化數據可以實現更高效的特徵提取。結構化數據通常已經按照特定的模式或結構進行了組
織，這使得我們可以更加高效地從中提取有用的特徵（如標題、作者、摘要、關鍵詞等）。這些特
征可以作為後續的輸入，幫助生成具有更強區分性和泛化能力的嵌入向量。結構化數據
中的元素（如主題、類別、屬性等）通常具有明確的含義，這些含義可以在過程中被保
留下來。因此，基於結構化數據的嵌入向量往往具有更強的解釋性，有助於我們更好地理解模型的
預測結果和內部機制。